v1.0.9: 爬取记录入库MySQL(crawler库: 任务/运行/结果三表, 内容不入库只存元数据, OK/FAIL状态标记)

This commit is contained in:
2026-08-11 19:23:35 +08:00
parent 5a137514e8
commit 9cd5b29644
5 changed files with 293 additions and 0 deletions
+7
View File
@@ -63,6 +63,13 @@
- **图片集**`<文件名>_img/meta.json`):所属页面、来源链接、每张图片的原始 URL / 大小 / 下载时间
- 详情页结果表中点「📋 元数据」即可在线查看
### 6. 数据库记录(MySQL
任务、运行记录、爬取结果实时写入 MySQL(`121.40.164.32:16006`,库 `crawler`),**网页完整内容不入库**(存磁盘文件),库中只存标题、网址、状态、文件路径等元数据:
- `crawl_tasks` — 任务信息(含回收站标记 deleted_at
- `crawl_runs` — 每次运行记录(状态/进度/成功失败数/图片数/时间)
- `crawl_results` — 每页一条(**status: OK/FAIL** 成功失败标记、标题、网址、来源链接、深度、错误信息、文件路径、图片数)
- 数据库不可用时自动降级,不影响爬取主流程;删除任务进回收站同步标记,彻底删除同步清库
## 输出文件
每个任务输出到独立目录(默认 `out/<任务ID>/`):