 hz4th_coder
|
aa0c2f56d0
|
v1.0.12: crawl_results 合并 html_file/txt_file/meta_file 为单一 base_file(同前缀不同后缀), 含存量数据自动迁移
|
2026-08-11 19:35:55 +08:00 |
|
|
hz4th_coder
|
bf6be47c01
|
v1.0.11: 新增历史记录回填脚本 backfill.py(幂等, 支持指定任务), 补齐数据库功能上线前的爬取记录
|
2026-08-11 19:29:57 +08:00 |
|
|
hz4th_coder
|
abde505d32
|
v1.0.10: 修正数据库连接信息(uni_crawler/wleD6x2T, 库uni_crawler)
|
2026-08-11 19:27:18 +08:00 |
|
|
hz4th_coder
|
9cd5b29644
|
v1.0.9: 爬取记录入库MySQL(crawler库: 任务/运行/结果三表, 内容不入库只存元数据, OK/FAIL状态标记)
|
2026-08-11 19:23:35 +08:00 |
|
|
hz4th_coder
|
5a137514e8
|
v1.0.8: 自动爬取URL规范化去重(锚点/跟踪参数/尾部斜杠/默认端口) + 修复反爬启发式误伤小页面
|
2026-08-11 17:57:59 +08:00 |
|
|
hz4th_coder
|
13a760fa6f
|
v1.0.7: 任务列表按模式分组展示(批量/定时/自动各占一行, 空组隐藏)
|
2026-08-11 15:40:44 +08:00 |
|
|
hz4th_coder
|
add2cea545
|
v1.0.6: 导入网址文件增加追加/覆盖处理方式选择(默认追加)
|
2026-08-11 15:33:19 +08:00 |
|
|
hz4th_coder
|
44852f7be7
|
v1.0.5: 网址列表支持上传txt批量导入(UTF-8/GBK自动识别/去重/行内注释清理)
|
2026-08-11 15:26:17 +08:00 |
|
|
hz4th_coder
|
e8541a8545
|
v1.0.4: 基本搜索功能 - 按网址/标题/任务名子串匹配查找已爬内容, 支持跳转预览
|
2026-08-11 15:21:31 +08:00 |
|
|
hz4th_coder
|
e70a3a877f
|
v1.0.3: 回收站功能 - 删除任务进回收站可恢复, 仅可手动彻底删除/清空
|
2026-08-11 13:25:28 +08:00 |
|
|
hz4th_coder
|
1de2a0af54
|
v1.0.2: 自动爬取试爬取功能 + 每个页面/图片生成操作信息元数据(模式/时间/网址/来源链接/深度等)
|
2026-08-11 13:20:14 +08:00 |
|
|
hz4th_coder
|
29176fc66b
|
v1.0.1: 弹窗防误关确认/布局修复/定时任务首次执行时间/日间夜间双主题/总体统计区
|
2026-08-11 13:02:34 +08:00 |
|
|
hz4th_coder
|
dede5003a4
|
通用爬虫系统 v1.0.0: 批量/定时/自动爬取 + Web管理界面 + 图片/通知/热更新
|
2026-08-11 12:44:18 +08:00 |
|