🕷️ 通用爬虫系统
运行中任务: 0
⟳ 刷新
+ 新建任务
🕸️
还没有爬取任务
+ 创建第一个任务
新建爬取任务
✕
📄 批量爬取
⏰ 定时爬取
🤖 自动爬取
项目名称 *
输出目录
爬取间隔(秒) 最小
最大
单页超时(秒)
失败重试次数
重试间隔(秒)
爬取图片
完成后邮件通知
通知邮箱
网址列表(每行一个,# 开头为注释)
调度类型
间隔调度(每 N 时间)
cron 表达式
启用调度
每隔
单位
分钟
小时
天
cron 表达式(分 时 日 月 周,周 0/7=周日)
起始网址 *(系统将自动发现符合规则的链接并爬取)
包含规则(每行一个,子串或正则)
排除规则
仅爬同域名
规则按正则匹配
最大页数
最大爬取深度
取消
保存
任务详情
✕
预览
✕