v1.3.0: 每源独立采集周期 + 定制监控与新闻监控分离(独立配置/独立汇总) + 历史采样留档与提取API

README.md

@@ -2,7 +2,7 @@
 
 一款面向 AI 领域的**自动采集 → 智能分析 → 邮件推送**的新闻跟踪系统。后台定时从数据源采集资讯，先规则打分、再 LLM 深度分析，把与你兴趣画像相关且重要的资讯**实时发邮件提醒**，并每天 10:00 发一份**AI 资讯日报**。带完整网页管理台，兴趣画像/数据源/通知参数全部可配。
 
-> 当前版本 **v1.2.0**：数据源**完整编辑**（所有配置可改，模态框）+ **定制监控类型**（无权重，按「推送标准」由大模型判断是否推送）。
+> 当前版本 **v1.3.0**：数据源**独立采集周期**（每源可覆盖全局）+ **定制监控与新闻监控完全分离**（独立间隔/独立汇总）+ **历史采样留档与提取**。
 
 ---
 
@@ -29,7 +29,9 @@
 2. **规则打分**（立即）：`analysis.analyze_article()` 对每条新资讯算**兴趣相关度**（关键词命中权重 + 领域匹配 + 关注公司命中）和**重要度启发式**（发布/融资/禁令等强信号词、金额量级、时效性、数据源权重、公司影响），得到**综合分 total_score (0-100)**。
 3. **LLM 深度分析**（后台异步）：规则分 ≥ `llm_threshold`（默认 60）的资讯进入 `llm_analyze()`，**使用网页激活的大模型接口**（默认 SiliconFlow，可一键切换；调用失败自动切换下一个可用接口），输出重要度 1-10、相关度、分类、一句话结论，并与规则分融合更新。
 4. **实时通知**：扫描「重要 + 已分析完成 + 未通知」的资讯，综合分 ≥ `realtime_threshold`（默认 80）→ 发 **🔥 重要AI资讯实时提醒** 邮件，标记 `notified=1`。
-5. **每日日报**（默认每天 10:00）：汇总往前 `summary_window_hours`（默认 24h）内综合分 ≥50 的资讯，按分排序取前 `max_summary_items`（默认 15）条发 **📰 AI资讯日报**，含领域分布统计。
+5. **每日日报**（新闻机制，默认每天 10:00）：汇总往前 `summary_window_hours`（默认 24h）内普通源综合分 ≥50 的资讯，按分排序取前 `max_summary_items`（默认 15）条发 **📰 AI资讯日报**，含领域分布统计。
+6. **定制监控汇总**（定制机制，默认每天 18:00，独立时间单独配置）：汇总窗口内定制源**命中推送标准**(is_important=1)的资讯发 **🎯 定制监控汇总** 邮件。
+7. **历史采样**：每次采集（无论成功/失败）写入 `source_snapshots`，数据源页可查看，也可用 `/api/sources/history`、`/api/sources/articles` 提取给自动流程。
 
 ---
 
@@ -40,6 +42,9 @@
 - 🤖 **大模型接口可配置**：设置页可增删改/测试大模型接口，预置 SiliconFlow（默认）/ DeepSeek 官方 / Autodl / Local Qwen 四个，**一键切换即时生效**，激活接口失败自动切换下一个可用接口
 - 🔥 **实时重要资讯邮件**：综合分达到阈值自动推送，单批最多 10 条
 - 🎯 **定制监控数据源**：数据源可选「定制监控」方式——**不设权重**，填写「推送标准」后由大模型逐条判断是否达到标准，达到即实时邮件推送（页面可直接「🧪 测试推送标准」）；命中推送的资讯在邮件/列表中带「🎯 定制监控命中」标识
+- 🔀 **两套独立机制**：新闻监控与定制监控**完全分开**——各自的采集间隔、汇总时间/窗口/条数单独配置（设置页「定制监控机制」区块）；定制源命中会单独发「🎯 定制监控汇总」邮件，不混入新闻日报
+- ⏱ **每源独立采集周期**：全局有统一采集间隔（新闻30分/定制15分），每个数据源可用本源「采集周期」字段自定义覆盖（0=跟随全局）
+- 📜 **历史采样留档**：每次采集记录时间/条数/成功失败到 `source_snapshots`，数据源页「📜 历史采样」可查看每次快照及本源采集到的资讯；`/api/sources/history`、`/api/sources/articles` 供自动流程提取历史数据
 - 📰 **每日 AI 资讯日报**：默认每天 10:00，按领域统计 + 重点资讯卡片
 - 🎯 **兴趣画像管理**：关键词（带权重）、领域、关注公司，全部可在网页维护，改完一键「重新打分」
 - 🔗 **数据源管理**：7 个内置数据源模板，**完整编辑**（模态框一次性改名称/类型/URL/权重/描述/监控方式/推送标准）、启停、删除；普通源带权重，定制监控源填「推送标准」
@@ -145,10 +150,10 @@ cd works/news-tracker
 | `/dashboard` | 仪表盘：总资讯/重要资讯/待分析/已通知 + 近7天趋势 + 领域分布 |
 | `/news` | 资讯列表：按领域/重要/关键词搜索，分页 |
 | `/news/<id>` | 资讯详情：规则分/LLM分/实体/分析结论 + **页面可读全文** |
-| `/sources` | 数据源管理：**完整编辑**（模态框）/启停/删除，支持普通(权重)与定制监控(推送标准)，真实源状态可见 |
+| `/sources` | 数据源管理：**完整编辑**（模态框）/启停/删除，支持普通(权重)与定制监控(推送标准)，每源独立采集周期，「📜 历史采样」可查看每次采样快照与本源资讯 |
 | `/profile` | 兴趣画像：关键词/领域/公司维护 |
 | `/logs` | 通知日志（实时/日报发送记录） |
-| `/settings` | 设置：自动化参数 + 邮件配置 + **大模型接口管理（一键切换/测试）** |
+| `/settings` | 设置：自动化参数（新闻机制）+ **定制监控机制（独立配置）** + 邮件配置 + **大模型接口管理（一键切换/测试）** |
 
 ---
 
@@ -157,7 +162,9 @@ cd works/news-tracker
 | 接口 | 方法 | 说明 |
 |------|------|------|
 | `/api/stats` | GET | 统计数据（总数/重要/趋势/领域分布） |
-| `/api/sources` | POST | `action=add\|update\|delete\|toggle\|test_standard` 数据源管理（update 可改全部配置；test_standard=用大模型试测推送标准） |
+| `/api/sources` | POST | `action=add\|update\|delete\|toggle\|test_standard` 数据源管理（update 可改全部配置含采集周期；test_standard=用大模型试测推送标准） |
+| `/api/sources/history` | GET | `?source_id=&limit=` 数据源历史采样记录（每次采集时间/条数/状态/备注，自动流程提取用） |
+| `/api/sources/articles` | GET | `?source_id=&page=&page_size=&q=` 数据源历史采集到的资讯（分页/搜索，自动流程提取用） |
 | `/api/profile` | POST | `action=add\|delete`，`kind=keyword\|domain\|company` 画像维护 |
 | `/api/settings` | POST | 更新 `auto` / `mail` 设置 |
 | `/api/llm` | POST | 大模型接口：`add\|update\|delete\|switch\|toggle\|test`（switch=一键切换） |
@@ -169,7 +176,8 @@ cd works/news-tracker
 
 ## 数据模型
 
-- **sources**：数据源（name/type/url/weight/**kind**/**monitor_standard**/enabled/status/last_fetch/last_count；`kind`=normal 普通按权重打分 / custom 定制监控按推送标准 LLM 判断；`monitor_standard`=定制监控的推送标准说明；status 标记真实源采集 ok/error）
+- **sources**：数据源（name/type/url/weight/**kind**/**monitor_standard**/**scan_interval_min**/enabled/status/last_fetch/last_count；`kind`=normal 普通按权重打分 / custom 定制监控按推送标准 LLM 判断；`monitor_standard`=定制监控的推送标准说明；`scan_interval_min`=本源采集间隔分钟数，0=跟随所属机制全局值；status 标记真实源采集 ok/error）
+- **source_snapshots**：历史采样记录（source_id/fetched_at/count/status/detail，每次采集留档）
 - **articles**：资讯（title/url/content/summary/**full_text(页面可读全文)**/domain/entities/importance/relevance/total_score/is_important/analysis/llm_status/notified/status/published_at/collected_at）
 - **keywords** / **domains** / **companies**：兴趣画像
 - **llm_providers**：大模型接口（name/base_url/api_key/model/active/enabled；active=当前激活）
@@ -178,6 +186,8 @@ cd works/news-tracker
 
 `llm_status`：`pending`(待分析) → `done`(完成) / `skipped`(未达标跳过) / `error`(失败)
 
+**采集调度**：`scheduler.collect_once()` 按**每源独立周期**采集（本源 `scan_interval_min` > 0 用本源值，否则普通源用 `scan_interval_min`、定制源用 `custom_scan_interval_min`）；调度循环 30s 轮询到期源。新闻源受 `auto_collect` 控制、定制源受 `custom_enabled` 控制，互不影响。手动「立即采集」忽略周期全量采集。
+
 **定制监控（kind=custom）**：无权重（规则打分时权重项按 0 处理，仅作展示）；采集后**无条件进入 LLM 分析**（不受 `llm_threshold` 限制），LLM 按该源的 `monitor_standard`（推送标准）判断 `meets_standard`，达到 → `is_important=1` → 实时邮件推送；未达到 → 不推送。命中推送的资讯也会纳入每日日报。
 
 **综合分公式**：`total_score = 0.4 × 相关度 + 0.6 × 重要度`（LLM 分析后按 `0.6×规则分 + 0.4×LLM分量` 融合）
@@ -211,4 +221,4 @@ cd works/news-tracker
 ## Git
 
 - 仓库：`hz4th_coder/news-tracker`
-- 版本：`v1.0.0`（初版）→ `v1.0.1`（补 README）→ `v1.1.0`（真实网页采集+全文入库 / 大模型接口多预置一键切换 / 数据源可编辑）→ **`v1.2.0`**（数据源完整编辑模态框 / 定制监控类型：无权重+推送标准+LLM判断推送+测试按钮）
+- 版本：`v1.0.0`（初版）→ `v1.0.1`（补 README）→ `v1.1.0`（真实网页采集+全文入库 / 大模型接口多预置一键切换 / 数据源可编辑）→ `v1.2.0`（数据源完整编辑模态框 / 定制监控类型：无权重+推送标准+LLM判断推送+测试按钮）→ **`v1.3.0`**（每源独立采集周期 / 定制监控与新闻监控分离独立配置+独立汇总 / 历史采样留档+查看+提取API）