 hz4th_coder
|
ec053266a7
|
v1.4.0 修复反爬误判+浏览器崩溃空转, 详情页多元翻页
- 修复反爬误判: is_challenge_page 仅匹配 title 关键词 + html 前 20KB 强特征标记,
不再全文匹配 captcha/challenge 等词 (博客园正文提 captcha 的页面被误杀)
- 修复浏览器崩溃后空转: 检测 Target page/context/browser closed,
自动重启浏览器并重试当前 URL (不消耗重试配额, 单页最多重建3次);
页面读取连续异常3次快速失败; 新增 browser_max_pages 配置定期重启浏览器防内存膨胀
- 详情页多元翻页: 首页/末页/页码列表(带省略号)/页码跳转输入框(回车/GO)/每页条数选择(50/100/200/500)
|
2026-08-14 10:28:25 +08:00 |
|
|
hz4th_coder
|
796e667533
|
性能优化: 任务列表瘦身+详情分页+auto状态独立存储+磁盘统计缓存+db异步同步; 统计数值未读取时显示-
- /api/tasks 响应 1.57MB -> 12KB (latest_run 只带摘要, 一次读 runs.json)
- /api/stats 磁盘占用加 30s 缓存, 去除重复全量读
- 详情接口分页返回 results (默认100条/页), 前端表格分页+页码跳转
- auto 任务 pending/visited 队列迁移到 data/auto_state/ 独立文件 (tasks.json 1.6MB -> 14KB)
- MySQL 同步改后台线程异步执行 (db.sync_run_async/upsert_task_async), 不再阻塞爬虫和 API
- 启动时自动迁移存量 auto 状态
- 统计/回收站/运行中数值在未读到真实数据前显示 '-'
|
2026-08-12 09:28:16 +08:00 |
|
|
hz4th_coder
|
13a760fa6f
|
v1.0.7: 任务列表按模式分组展示(批量/定时/自动各占一行, 空组隐藏)
|
2026-08-11 15:40:44 +08:00 |
|
|
hz4th_coder
|
e8541a8545
|
v1.0.4: 基本搜索功能 - 按网址/标题/任务名子串匹配查找已爬内容, 支持跳转预览
|
2026-08-11 15:21:31 +08:00 |
|
|
hz4th_coder
|
e70a3a877f
|
v1.0.3: 回收站功能 - 删除任务进回收站可恢复, 仅可手动彻底删除/清空
|
2026-08-11 13:25:28 +08:00 |
|
|
hz4th_coder
|
1de2a0af54
|
v1.0.2: 自动爬取试爬取功能 + 每个页面/图片生成操作信息元数据(模式/时间/网址/来源链接/深度等)
|
2026-08-11 13:20:14 +08:00 |
|
|
hz4th_coder
|
29176fc66b
|
v1.0.1: 弹窗防误关确认/布局修复/定时任务首次执行时间/日间夜间双主题/总体统计区
|
2026-08-11 13:02:34 +08:00 |
|
|
hz4th_coder
|
dede5003a4
|
通用爬虫系统 v1.0.0: 批量/定时/自动爬取 + Web管理界面 + 图片/通知/热更新
|
2026-08-11 12:44:18 +08:00 |
|