v1.0.9: 爬取记录入库MySQL(crawler库: 任务/运行/结果三表, 内容不入库只存元数据, OK/FAIL状态标记)
This commit is contained in:
@@ -63,6 +63,13 @@
|
||||
- **图片集**(`<文件名>_img/meta.json`):所属页面、来源链接、每张图片的原始 URL / 大小 / 下载时间
|
||||
- 详情页结果表中点「📋 元数据」即可在线查看
|
||||
|
||||
### 6. 数据库记录(MySQL)
|
||||
任务、运行记录、爬取结果实时写入 MySQL(`121.40.164.32:16006`,库 `crawler`),**网页完整内容不入库**(存磁盘文件),库中只存标题、网址、状态、文件路径等元数据:
|
||||
- `crawl_tasks` — 任务信息(含回收站标记 deleted_at)
|
||||
- `crawl_runs` — 每次运行记录(状态/进度/成功失败数/图片数/时间)
|
||||
- `crawl_results` — 每页一条(**status: OK/FAIL** 成功失败标记、标题、网址、来源链接、深度、错误信息、文件路径、图片数)
|
||||
- 数据库不可用时自动降级,不影响爬取主流程;删除任务进回收站同步标记,彻底删除同步清库
|
||||
|
||||
## 输出文件
|
||||
|
||||
每个任务输出到独立目录(默认 `out/<任务ID>/`):
|
||||
|
||||
Reference in New Issue
Block a user