v1.4.0: 通知日志分页+筛选 / 仪表盘TOP10+更多链接 / 数据源走web-capture-api抓取(获取方式与参数可编辑) / 系统错误邮件通知(频率+静默时段)

README.md

@@ -38,6 +38,9 @@
 ## 功能特性
 
 - 📥 **真实网页采集**：真实 URL 源自动抓取 → readability 风格清洗出干净可读正文 → **全文入库**（详情页可看），提取候选资讯链接按文章相似度排序；`example.com` 占位源走仿真数据；失败源标记 error 不造假
+- 🌐 **web-capture-api 网页提取**：数据源真实网页**默认通过 web-capture-api 项目接口抓取**（反爬强、可滚动态/选 agent-browser|playwright 后端），接口地址在设置页可改；每个数据源可**单独选择获取方式**（自动 / 仅 web-capture-api / 直接抓取）并**编辑抓取参数**（抓取动作 html/text、等待时间、滚动次数、后端、高级 JSON）
+- 📋 **通知日志分页 + 筛选**：通知日志支持分页查看，可按**类型**（实时/新闻汇总/定制汇总/系统错误）、**状态**（成功/失败）、**关键词**搜索
+- ⚠️ **系统错误邮件通知**：采集/分析/通知/汇总/系统异常自动记录并邮件通知，可设置**通知频率（冷却分钟）** 与 **静默时段**（多段/跨午夜，静默期不发、结束后自动补发）
 - 🧠 **两级智能分析**：规则打分秒级响应 + LLM 深度分析（重要度/相关度/分类/结论）
 - 🤖 **大模型接口可配置**：设置页可增删改/测试大模型接口，预置 SiliconFlow（默认）/ DeepSeek 官方 / Autodl / Local Qwen 四个，**一键切换即时生效**，激活接口失败自动切换下一个可用接口
 - 🔥 **实时重要资讯邮件**：综合分达到阈值自动推送，单批最多 10 条
@@ -57,7 +60,7 @@
 ## 技术栈
 
 - **后端**：Python 3 + Flask（threaded）
-- **网页采集**：requests + BeautifulSoup/lxml（readability 风格正文清洗）
+- **网页采集**：优先 **web-capture-api**（agent-browser / Playwright 双后端，反爬强）；直接抓取回退用 requests + BeautifulSoup/lxml（readability 风格正文清洗）
 - **数据库**：SQLite（原生 sqlite3，WAL 模式，无 ORM）
 - **大模型**：OpenAI 兼容接口，默认 SiliconFlow `deepseek-ai/DeepSeek-V4-Flash`（可一键切换，`response_format=json_object`）
 - **前端**：原生 HTML/CSS/JS + Jinja2 模板（无前端框架）
@@ -75,7 +78,7 @@ news-tracker/
 ├── scheduler.py    # 后台调度器：定时采集 + 每日日报 + 实时通知扫描
 ├── analysis.py     # 智能分析引擎：规则打分 + LLM 深度分析（多接口自动切换）
 ├── simulate.py     # 模拟数据源（example.com 占位源 / 真实源失败时回退）
-├── notifier.py     # 邮件通知（实时 / 日报，plain/starttls/ssl）
+├── notifier.py     # 邮件通知（实时 / 日报 / 系统错误，含通知频率+静默时段控制）
 ├── start.sh        # 启动/停止/状态脚本
 ├── templates/      # Jinja2 页面模板
 ├── static/         # 静态资源
@@ -141,19 +144,27 @@ cd works/news-tracker
 
 `CRAWL_DEFAULTS`：`per_source_links`（每源最多采集条目，默认 8）、`full_fetch_links`（其中抓全文条数，默认 5）、`crawl_timeout`（单页超时，默认 20s）、`user_agent`。
 
+### web-capture-api（设置页）
+
+`WEBCAPTURE_DEFAULTS`：`enabled`（是否启用）、`api_url`（默认 `http://121.40.164.32:16025`，可改）、`timeout`（单次抓取超时秒）。数据源页可对每个源选**获取方式**（`auto`=优先 web-capture-api、失败回退直接抓取；`webcapture`=仅走网页提取服务；`direct`=直接抓取）并编辑**抓取参数**（`capture_params` JSON：`action` html|text、`wait_time` 等待加载 ms、`scroll_times` 滚动次数、`backend` auto|agent-browser|playwright，以及任意高级参数如 `scroll_delay`/`full_page`/`viewport`）。
+
+### 系统错误邮件通知（设置页）
+
+`ERRNOTIFY_DEFAULTS`：`enabled`（是否启用）、`mode`（`immediate` 立即 / `cooldown` 按冷却聚合 / `off` 关闭）、`cooldown_min`（**通知频率**：两次错误邮件最小间隔分钟，默认 60）、`quiet_enabled` + `quiet_periods`（**静默时段**，每段 `HH:MM-HH:MM`，支持多段/跨午夜，静默期不发、结束后自动补发）、`max_items`（单封最多错误条数）。错误记录在 `system_error_log` 表（同类合并计数），发送后写 `notification_log(type=error)`。
+
 ---
 
 ## 网页页面
 
 | 路由 | 说明 |
 |------|------|
-| `/dashboard` | 仪表盘：总资讯/重要资讯/待分析/已通知 + 近7天趋势 + 领域分布 |
+| `/dashboard` | 仪表盘：总资讯/重要资讯/待分析/已通知 + 近7天趋势 + 领域分布（重要资讯 TOP / 最新收录各显示最多 10 条，含「更多」链接） |
 | `/news` | 资讯列表：按领域/重要/关键词搜索，分页 |
 | `/news/<id>` | 资讯详情：规则分/LLM分/实体/分析结论 + **页面可读全文** |
-| `/sources` | 数据源管理：**完整编辑**（模态框）/启停/删除，支持普通(权重)与定制监控(推送标准)，每源独立采集周期，「📜 历史采样」可查看每次采样快照与本源资讯 |
+| `/sources` | 数据源管理：**完整编辑**（模态框，含获取方式+抓取参数）/启停/删除，支持普通(权重)与定制监控(推送标准)，每源独立采集周期，「📜 历史采样」可查看每次采样快照与本源资讯 |
 | `/profile` | 兴趣画像：关键词/领域/公司维护 |
-| `/logs` | 通知日志（实时/日报发送记录） |
-| `/settings` | 设置：自动化参数（新闻机制）+ **定制监控机制（独立配置）** + 邮件配置 + **大模型接口管理（一键切换/测试）** |
+| `/logs` | 通知日志：**分页 + 类型/状态/关键词筛选**，支持测试邮件/测试错误通知 |
+| `/settings` | 设置：自动化参数（新闻机制）+ **定制监控机制（独立配置）** + **网页提取服务（web-capture-api）** + **系统错误邮件通知（频率/静默）** + 邮件配置 + **大模型接口管理（一键切换/测试）** |
 
 ---
 
@@ -166,9 +177,11 @@ cd works/news-tracker
 | `/api/sources/history` | GET | `?source_id=&limit=` 数据源历史采样记录（每次采集时间/条数/状态/备注，自动流程提取用） |
 | `/api/sources/articles` | GET | `?source_id=&page=&page_size=&q=` 数据源历史采集到的资讯（分页/搜索，自动流程提取用） |
 | `/api/profile` | POST | `action=add\|delete`，`kind=keyword\|domain\|company` 画像维护 |
-| `/api/settings` | POST | 更新 `auto` / `mail` 设置 |
+| `/api/settings` | POST | 更新 `auto` / `mail` / `custom` / `webcapture` / `errnotify` 设置 |
 | `/api/llm` | POST | 大模型接口：`add\|update\|delete\|switch\|toggle\|test`（switch=一键切换） |
-| `/api/actions` | POST | `action=collect`(采集) `llm`(LLM分析) `summary`(发日报) `seed`(造数据) `reanalyze`(重新打分) `test_mail`(测试邮件) |
+| `/api/actions` | POST | `action=collect`(采集) `llm`(LLM分析) `summary`(发日报) `seed`(造数据) `reanalyze`(重新打分) `test_mail`(测试邮件) `test_error_mail`(测试错误通知) `test_webcapture`(测试网页提取服务) |
+| `/api/logs` | GET | 通知日志分页：`?page=&page_size=&type=&status=&q=` |
+| `/api/errors` | GET | 系统错误日志：`?limit=`（最近 N 条，含累计次数/首末次时间/通知状态） |
 
 请求体为 JSON，如：`{"action": "collect"}`、`{"action": "llm", "limit": 10}`。
 
@@ -176,13 +189,14 @@ cd works/news-tracker
 
 ## 数据模型
 
-- **sources**：数据源（name/type/url/weight/**kind**/**monitor_standard**/**scan_interval_min**/enabled/status/last_fetch/last_count；`kind`=normal 普通按权重打分 / custom 定制监控按推送标准 LLM 判断；`monitor_standard`=定制监控的推送标准说明；`scan_interval_min`=本源采集间隔分钟数，0=跟随所属机制全局值；status 标记真实源采集 ok/error）
+- **sources**：数据源（name/type/url/weight/**kind**/**monitor_standard**/**scan_interval_min**/**fetch_method**/**capture_params**/enabled/status/last_fetch/last_count；`kind`=normal 普通按权重打分 / custom 定制监控按推送标准 LLM 判断；`monitor_standard`=定制监控的推送标准说明；`scan_interval_min`=本源采集间隔分钟数，0=跟随所属机制全局值；`fetch_method`=auto 优先 web-capture-api 失败回退直接抓取 / webcapture 仅走网页提取服务 / direct 直接抓取；`capture_params`=web-capture-api 抓取参数 JSON；status 标记真实源采集 ok/error）
 - **source_snapshots**：历史采样记录（source_id/fetched_at/count/status/detail，每次采集留档）
 - **articles**：资讯（title/url/content/summary/**full_text(页面可读全文)**/domain/entities/importance/relevance/total_score/is_important/analysis/llm_status/notified/status/published_at/collected_at）
 - **keywords** / **domains** / **companies**：兴趣画像
 - **llm_providers**：大模型接口（name/base_url/api_key/model/active/enabled；active=当前激活）
-- **notification_log**：邮件通知日志
-- **settings**：KV 配置（`auto` / `mail` 为 JSON）
+- **notification_log**：邮件通知日志（type：realtime / summary / custom_summary / error）
+- **system_error_log**：系统错误日志（source/message/detail/count/pending/first_seen/last_seen/last_notified/notified_count，同类错误合并计数，pending=待通知）
+- **settings**：KV 配置（`auto` / `mail` / `custom` / `webcapture` / `errnotify` 为 JSON）
 
 `llm_status`：`pending`(待分析) → `done`(完成) / `skipped`(未达标跳过) / `error`(失败)
 
@@ -199,11 +213,11 @@ cd works/news-tracker
 系统已内置真实网页采集（`crawler.py`），接入真实源**无需写代码**：
 
 1. 在数据源页「编辑」已有源或「新增」源，填真实 URL（如媒体频道/官网新闻/RSS 页）；
-2. 保存后下次采集会自动抓取该页 → 清洗出可读正文 → 提取资讯链接 → 对前 5 条抓全文入库；
-3. 抓取失败的源会在数据源页标记 **error** 状态（网络被拒/反爬），不阻塞其他源；
+2. 保存后下次采集会自动通过 **web-capture-api** 抓取该页 → 清洗出可读正文 → 提取资讯链接 → 对前几条抓全文入库（每源可在「获取方式/抓取参数」里调：抓取动作、等待时间、滚动次数、后端等）；
+3. 抓取失败的源会在数据源页标记 **error** 状态（网络被拒/反爬），并触发**系统错误邮件通知**（受频率/静默控制）；
 4. `example.com` 开头的占位地址继续走模拟数据，方便调试。
 
-> 提示：部分站点（Next.js 重 JS 渲染 / 强反爬）服务端 HTML 拿不到正文，会提取不到链接（count=0）；本机对 arXiv/GitHub/OpenAI 等站网络不稳定，建议优先添加可达的站点。
+> 提示：web-capture-api 接口地址在设置页「网页提取服务」可改、可「测试接口」；个别重 JS 渲染/强反爬站点可改 `action=text` 整页取正文，或换 `backend=playwright`。
 
 ---
 
@@ -214,11 +228,12 @@ cd works/news-tracker
 - **真实源采集不到？** 数据源页看该源状态是否 **error**（网络被拒/反爬）；可换成可达的站点或 RSS 地址。
 - **想立即看效果？** 数据管理页（`/api/actions` 手动）点「立即采集 / LLM 分析 / 发送日报」。
 - **改了兴趣画像想重新算分？** 点「重新打分」（reanalyze）即可全量重跑规则打分。
-- **日志在哪？** `logs/app.log`（服务日志）+ 网页 `/logs`（通知日志）。
+- **日志在哪？** `logs/app.log`（服务日志）+ 网页 `/logs`（通知日志，可分页筛选）。
+- **系统出错没收到邮件？** 设置页「系统错误邮件通知」确认已启用、通知方式非「关闭」、冷却分钟不宜过大，且当前不在静默时段（静默时段不发送，结束后自动补发）。
 
 ---
 
 ## Git
 
 - 仓库：`hz4th_coder/news-tracker`
-- 版本：`v1.0.0`（初版）→ `v1.0.1`（补 README）→ `v1.1.0`（真实网页采集+全文入库 / 大模型接口多预置一键切换 / 数据源可编辑）→ `v1.2.0`（数据源完整编辑模态框 / 定制监控类型：无权重+推送标准+LLM判断推送+测试按钮）→ **`v1.3.0`**（每源独立采集周期 / 定制监控与新闻监控分离独立配置+独立汇总 / 历史采样留档+查看+提取API）
+- 版本：`v1.0.0`（初版）→ `v1.0.1`（补 README）→ `v1.1.0`（真实网页采集+全文入库 / 大模型接口多预置一键切换 / 数据源可编辑）→ `v1.2.0`（数据源完整编辑模态框 / 定制监控类型：无权重+推送标准+LLM判断推送+测试按钮）→ **`v1.3.0`**（每源独立采集周期 / 定制监控与新闻监控分离独立配置+独立汇总 / 历史采样留档+查看+提取API）→ **`v1.4.0`**（通知日志分页+筛选 / 仪表盘 TOP10+更多链接 / 数据源走 web-capture-api 抓取+获取方式与参数可编辑 / 系统错误邮件通知：频率+静默时段）