 hz4th_coder
|
76e24c4fa3
|
新增搜索标题和网页标题双字段
- 数据库新增 search_title 字段存储搜索结果标题
- product_names 存储抓取到的网页标题
- 搜索页面显示两个标题（搜索标题 + 网页标题）
- 内容库页面也显示两个标题
|
2026-07-14 00:00:50 +08:00 |
|
|
hz4th_coder
|
d23d526629
|
修复搜索和重复检查问题
1. 搜索文章时增加URL字段搜索，解决重复抓取问题
2. 优化搜索结果解析，多获取几个结果确保返回足够数量
|
2026-07-13 23:51:23 +08:00 |
|
|
hz4th_coder
|
24f0d3c35b
|
修复搜索抓取相关问题
1. 放宽搜索结果过滤条件，返回更多结果
2. 抓取返回详细错误信息（如超时、网络错误等）
3. 错误信息记录到失败URL库中
4. 统一返回格式包含success字段
|
2026-07-13 23:40:13 +08:00 |
|
|
hz4th_coder
|
b0d98b78d9
|
修复停止按钮：搜索开始时即显示
- 搜索开始就显示停止按钮
- 搜索完成后隐藏，自动抓取时再显示
- 整个流程中都可以随时停止
|
2026-07-13 23:22:02 +08:00 |
|
|
hz4th_coder
|
d63fe2f671
|
新增自动抓取停止功能
- 添加停止按钮，自动抓取时显示
- 点击可随时终止自动抓取流程
- 显示已停止状态和已抓取数量
|
2026-07-13 23:18:19 +08:00 |
|
|
hz4th_coder
|
c40acab1c9
|
优化URL抓取：增加超时时间和备用方案
- 浏览器超时从20秒增加到60秒
- 浏览器失败时使用 requests 备用方案抓取静态内容
- 解决部分网站加载慢导致超时的问题
|
2026-07-13 23:11:54 +08:00 |
|
|
hz4th_coder
|
4352b81c20
|
修复语法错误：Python try语句格式
|
2026-07-13 23:03:53 +08:00 |
|
|
hz4th_coder
|
c960d959ad
|
新增搜索结果缓存功能
- 新增 search_cache 数据库表存储搜索缓存
- 搜索前优先查询缓存，命中则直接返回
- 缓存默认有效期7天，可配置
- 前端支持'使用缓存'开关选项
- 显示缓存状态提示
- 支持自动清理过期缓存
|
2026-07-13 22:55:36 +08:00 |
|
|
hz4th_coder
|
50379f5ecf
|
优化主页内容库和搜索区域显示
- 内容库区域显示文章数、分类数、今日新增统计
- 搜索区域显示失败抓取数和支持的搜索引擎
- 点击'进入'按钮跳转到单独页面
- 移除大块入口链接，界面更简洁
|
2026-07-13 22:45:23 +08:00 |
|
|
hz4th_coder
|
4d1fffccd1
|
新增独立内容库页面
- 创建 /library 内容库独立页面
- 支持文章列表展示、搜索、分类筛选
- 支持查看详情、编辑、删除
- 支持批量选择和批量删除
- 支持导出为 JSON 文件
- 分页显示
- 主页内容库区域改为入口链接
|
2026-07-13 17:35:34 +08:00 |
|
|
hz4th_coder
|
898c2407e9
|
添加抓取失败网址记录功能
- 新增 failed_urls 数据库表存储失败URL
- 抓取失败时自动记录URL、标题、错误信息
- 搜索页面显示失败URL列表
- 支持重试单个/全部失败URL
- 支持删除和清空失败记录
- 显示重试次数和时间
|
2026-07-13 17:28:44 +08:00 |
|
|
hz4th_coder
|
dcd13dec4f
|
抓取前检查内容库是否已存在相同链接
- 抓取前先搜索内容库检查 URL 是否已存在
- 已存在的链接标记为黄色，显示'已存在'
- 避免重复抓取和保存
- 添加 checkUrlExists 函数
|
2026-07-13 17:20:33 +08:00 |
|
|
hz4th_coder
|
c3eef4fa21
|
互联网搜索支持多搜索引擎选择
- 新增搜索引擎选择下拉框
- 支持 Bing 中国（默认）、Bing 国际、Google、百度
- 后端 API 支持 engine 参数
- 添加百度搜索结果解析方法
|
2026-07-13 17:03:26 +08:00 |
|
|
hz4th_coder
|
9d6481bd06
|
修复页面内容提取，过滤 JSON 错误信息
- 改进 StaticText 解析逻辑
- 过滤知乎等网站的反爬 JSON 错误
- 正确提取页面文本内容
|
2026-07-13 16:56:08 +08:00 |
|
|
hz4th_coder
|
e13e4074f1
|
互联网搜索独立页面 + 一键保存全部功能
- 新增独立搜索页面 /search
- 支持一键保存所有搜索结果到内容库
- 支持自动抓取和自动保存选项
- 显示保存进度条
- 主页添加搜索入口链接
- 搜索结果状态实时显示（已抓取/已保存）
|
2026-07-13 16:38:14 +08:00 |
|
|
hz4th_coder
|
20f3ec1f18
|
修复页面抓取功能，使用 agent-browser 替代 requests
- 改用浏览器方式抓取页面内容，绑过反爬虫机制
- 从 accessibility tree snapshot 中提取文本内容
- 增加等待时间让页面完全加载
- 可抓取知乎等有反爬措施的网站
|
2026-07-13 12:14:21 +08:00 |
|
|
hz4th_coder
|
7bb5a250c8
|
前端增加人工互联网搜索功能
- 新增互联网搜索面板，支持手动输入关键词搜索
- 搜索结果展示为卡片形式，显示标题和链接
- 支持抓取单个结果的详细内容
- 可一键保存搜索结果到内容库
- 新增搜索 API 端点：/api/articles/internet-search
- 搜索结果详情模态框展示
- 响应式设计，搜索结果自适应布局
|
2026-07-13 12:04:20 +08:00 |
|
|
hz4th_coder
|
4f02a6a0ea
|
实现浏览器方式互联网搜索功能
- 使用 agent-browser 浏览器自动化进行 Bing 搜索
- 解析 accessibility tree 提取搜索结果
- 自动获取每个结果的 URL
- 支持设置最大结果数量
|
2026-07-13 11:55:33 +08:00 |
|
|
hz4th_coder
|
187d5037b8
|
添加Git推送说明文档
|
2026-07-12 01:24:46 +08:00 |
|
|
hz4th_coder
|
47729a52da
|
添加部署文档和说明
|
2026-07-12 01:24:19 +08:00 |
|
|
hz4th_coder
|
8ad0246567
|
添加前端界面和操作页面
功能：
- 统计数据展示
- 待处理产品列表管理
- 内容库文章展示和搜索
- 处理历史查看
- 系统配置管理
- 添加产品/文章的模态框
- 手动触发处理和批量处理
界面设计：
- 现代化渐变风格
- 响应式布局
- 交互式操作按钮
- 实时数据刷新
|
2026-07-12 01:23:15 +08:00 |
|
|
hz4th_coder
|
e3bc88343a
|
添加.gitignore文件，排除缓存和临时文件
|
2026-07-12 01:08:08 +08:00 |
|
|
hz4th_coder
|
b7b09251f8
|
初始化参数数据自动化管理系统
功能:
- 文章内容库管理
- 待处理产品列表管理
- 自动处理流程
- 智能搜索和数据提取
- ParamHub API集成
- 定时任务调度
部署端口: 16043
|
2026-07-12 01:07:26 +08:00 |
|