hz4th_coder/param-auto-manager
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
43 Commits 2 Branches 51 Tags
4177acf75c8bf8e67f9d8776490ce3b0f6cde7e0
Commit Graph
43 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
hz4th_coder 4177acf75c refactor: 步骤5简化为数据生成+格式检查 
- 步骤5不再提交到ParamHub，只生成产品数据
- 智能体任务模板去掉提交部分，增加格式检查要求
- 新增本地格式验证方法_validate_product_data
- 验证字段类型、必填项、数值范围等
- 步骤6恢复为独立的提交审核步骤
- 更新步骤描述为'调用智能体生成产品数据并检查格式'
v1.14.1 		2026-07-15 16:42:19 +08:00
hz4th_coder eea7269eda feat: 步骤5填充字段改用智能体执行 
- 新增步骤5任务模板(config/agent_fill_fields_template.txt)
- 步骤5调用智能体hz4th_editor执行：
  1. 获取API文档了解对应类别字段定义
  2. 从内容库获取相关内容数据
  3. 整理产品参数
  4. 通过API提交到ParamHub审核系统
- /process页面新增步骤5模板编辑面板
- 步骤6改为确认提交结果（备用本地提交）
- 新增API: GET/POST /api/process/fill-fields-template
v1.14.0 		2026-07-15 16:31:00 +08:00
hz4th_coder 5fdcf7a5b6 refactor: 步骤4智能体任务改为传递内容库ID 
- 模板改为传递内容库数据ID列表而非内容摘要
- 智能体任务改为分析ID对应数据与产品的相关性和参数提取价值
- 智能体输出改为relevant_ids列表+分析说明
- 步骤3保存内容库时记录article_id
- 步骤4根据智能体返回的ID从内容库获取实际内容
- 更新_fill_fields适配新的extracted_data格式
v1.13.1 		2026-07-15 13:00:03 +08:00
hz4th_coder 96c479916b feat: 步骤4提取产品数据改用智能体hz4th_editor执行 
- 步骤4调用 openclaw agent --agent hz4th_editor --message 执行提取任务
- 新增任务文本模板(config/agent_task_template.txt)，支持变量填充
- /process页面新增模板编辑面板，可查看/编辑/保存/预览模板
- 模板变量: {{product_name}} {{category}} {{subcategory}} {{library_results}} {{internet_results}}
- 新增API: GET/POST /api/process/agent-template, POST /api/process/agent-template/preview
v1.13.0 		2026-07-15 11:18:47 +08:00
hz4th_coder c833394f06 fix: 统一处理流程和后台任务显示 
- 处理流程抓取失败时记录到失败URL库
- /search页面新增产品处理会话展示区
- 同时显示后台抓取任务和产品处理会话
- 自动刷新同时更新三种数据：任务、会话、失败URL
v1.12.4 		2026-07-14 15:36:18 +08:00
hz4th_coder 5e3e9e7335 fix: 修复处理流程和后台任务问题 
- 步骤简要数值显示在每个步骤圆圈下方
- 处理流程抓取网页后保存到内容库
- 修复后台任务结果解析错误
v1.12.3 		2026-07-14 15:13:31 +08:00
hz4th_coder 1712fb0756 feat: 处理监控页面显示步骤简要数值 
- 显示内容库搜索结果数
- 显示互联网搜索结果数
- 显示抓取成功数
- 显示数据提取/填充状态
- 显示审核ID
v1.12.2 		2026-07-14 12:42:59 +08:00
hz4th_coder d18e80016b fix: 修复首页产品处理启动问题 
- 首页点击处理现在使用新的处理监控流程
- 处理启动后自动跳转到处理监控页面
- 首页添加'处理监控'入口按钮
- 修复错误消息显示 undefined 的问题
v1.12.1 		2026-07-14 12:33:40 +08:00
hz4th_coder 8f0efe28b6 feat: 新增产品处理流程监控功能 
- 新增处理会话表(process_sessions)和步骤表(process_steps)
- 支持实时查看每个产品的处理步骤进度
- 支持暂停/继续/停止正在进行的处理
- 处理步骤包括：搜索内容库、搜索互联网、抓取网页、提取数据、填充字段、提交审核
- 新增处理监控页面 /process
- 每个步骤记录详细数据、耗时、状态
- 历史记录可查看每个步骤的执行详情
v1.12.0 		2026-07-14 12:23:49 +08:00
hz4th_coder 3f9848c635 fix: 修复内容库显示问题 
- 产品名称(product_names)不再自动填充为网页标题
- 内容库显示搜索标题(search_title)作为主标题
- 产品名称单独显示（如果有关联）
v1.11.3 		2026-07-14 11:29:22 +08:00
hz4th_coder dd42957a48 fix: 默认勾选'抓取后自动保存到内容库' v1.11.2 2026-07-14 11:14:59 +08:00
hz4th_coder 0229f2dfcf fix: 后台任务列表自动刷新（每3秒） v1.11.1 2026-07-14 11:07:29 +08:00
hz4th_coder 6534c3315b feat: 新增后台任务系统，支持抓取任务在后台持续运行 
- 新增后台任务API (/api/tasks)
- 抓取任务在后台独立运行，不受页面刷新影响
- 支持任务状态查询和手动停止
- 新增后台任务管理界面
- 数据库新增 background_tasks 表
- 前端使用轮询方式更新任务进度
v1.11.0 		2026-07-14 10:59:18 +08:00
hz4th_coder 4f47bf2b91 优化首页统计显示：加载前显示-而非0 v1.10.7 2026-07-14 01:07:00 +08:00
hz4th_coder 6dabc4d0b7 优化内容库分页 
- 默认每页20条
- 列表上部也添加分页控件，方便翻页
v1.10.6 		2026-07-14 00:54:14 +08:00
hz4th_coder 981b3c9c5c 修复内容库分页：返回总数而非当前页数量 
- 新增 get_articles_count 函数获取总数
- 列表API返回总数用于分页计算
v1.10.5 		2026-07-14 00:50:11 +08:00
hz4th_coder 127654a558 修复搜索分页功能 
- 后端搜索API支持offset参数，返回总数用于分页
- 前端传递offset参数实现正确分页
v1.10.4 		2026-07-14 00:40:40 +08:00
hz4th_coder 322ca28cb4 修复每页数量选择功能 
- 前端搜索时传递limit参数
- 后端搜索API支持limit参数
v1.10.3 		2026-07-14 00:37:41 +08:00
hz4th_coder 1a2d6ada88 新增内容库每页数量选择功能 
- 添加每页数量选择下拉框（20/50/100/200/500条）
- 默认100条，用户可自由选择
v1.10.2 		2026-07-14 00:16:25 +08:00
hz4th_coder 00609980a8 优化内容库页面显示 
1. 增加每页显示数量从20到100
2. 标题优先显示搜索标题，其次网页标题，最后来源
3. 详情页展示所有信息：搜索标题、网页标题、分类、来源、时间、链接、关键词、摘要、内容
v1.10.1 		2026-07-14 00:09:59 +08:00
hz4th_coder 76e24c4fa3 新增搜索标题和网页标题双字段 
- 数据库新增 search_title 字段存储搜索结果标题
- product_names 存储抓取到的网页标题
- 搜索页面显示两个标题（搜索标题 + 网页标题）
- 内容库页面也显示两个标题
v1.10.0 		2026-07-14 00:00:50 +08:00
hz4th_coder d23d526629 修复搜索和重复检查问题 
1. 搜索文章时增加URL字段搜索，解决重复抓取问题
2. 优化搜索结果解析，多获取几个结果确保返回足够数量
v1.9.6 		2026-07-13 23:51:23 +08:00
hz4th_coder 24f0d3c35b 修复搜索抓取相关问题 
1. 放宽搜索结果过滤条件，返回更多结果
2. 抓取返回详细错误信息（如超时、网络错误等）
3. 错误信息记录到失败URL库中
4. 统一返回格式包含success字段
v1.9.5 		2026-07-13 23:40:13 +08:00
hz4th_coder b0d98b78d9 修复停止按钮：搜索开始时即显示 
- 搜索开始就显示停止按钮
- 搜索完成后隐藏，自动抓取时再显示
- 整个流程中都可以随时停止
v1.9.4 		2026-07-13 23:22:02 +08:00
hz4th_coder d63fe2f671 新增自动抓取停止功能 
- 添加停止按钮，自动抓取时显示
- 点击可随时终止自动抓取流程
- 显示已停止状态和已抓取数量
v1.9.3 		2026-07-13 23:18:19 +08:00
hz4th_coder c40acab1c9 优化URL抓取：增加超时时间和备用方案 
- 浏览器超时从20秒增加到60秒
- 浏览器失败时使用 requests 备用方案抓取静态内容
- 解决部分网站加载慢导致超时的问题
v1.9.2 		2026-07-13 23:11:54 +08:00
hz4th_coder 4352b81c20 修复语法错误：Python try语句格式 v1.9.1 2026-07-13 23:03:53 +08:00
hz4th_coder c960d959ad 新增搜索结果缓存功能 
- 新增 search_cache 数据库表存储搜索缓存
- 搜索前优先查询缓存，命中则直接返回
- 缓存默认有效期7天，可配置
- 前端支持'使用缓存'开关选项
- 显示缓存状态提示
- 支持自动清理过期缓存
v1.9.0 		2026-07-13 22:55:36 +08:00
hz4th_coder 50379f5ecf 优化主页内容库和搜索区域显示 
- 内容库区域显示文章数、分类数、今日新增统计
- 搜索区域显示失败抓取数和支持的搜索引擎
- 点击'进入'按钮跳转到单独页面
- 移除大块入口链接，界面更简洁
v1.8.1 		2026-07-13 22:45:23 +08:00
hz4th_coder 4d1fffccd1 新增独立内容库页面 
- 创建 /library 内容库独立页面
- 支持文章列表展示、搜索、分类筛选
- 支持查看详情、编辑、删除
- 支持批量选择和批量删除
- 支持导出为 JSON 文件
- 分页显示
- 主页内容库区域改为入口链接
v1.8.0 		2026-07-13 17:35:34 +08:00
hz4th_coder 898c2407e9 添加抓取失败网址记录功能 
- 新增 failed_urls 数据库表存储失败URL
- 抓取失败时自动记录URL、标题、错误信息
- 搜索页面显示失败URL列表
- 支持重试单个/全部失败URL
- 支持删除和清空失败记录
- 显示重试次数和时间
v1.7.0 		2026-07-13 17:28:44 +08:00
hz4th_coder dcd13dec4f 抓取前检查内容库是否已存在相同链接 
- 抓取前先搜索内容库检查 URL 是否已存在
- 已存在的链接标记为黄色，显示'已存在'
- 避免重复抓取和保存
- 添加 checkUrlExists 函数
v1.6.1 		2026-07-13 17:20:33 +08:00
hz4th_coder c3eef4fa21 互联网搜索支持多搜索引擎选择 
- 新增搜索引擎选择下拉框
- 支持 Bing 中国（默认）、Bing 国际、Google、百度
- 后端 API 支持 engine 参数
- 添加百度搜索结果解析方法
v1.6.0 		2026-07-13 17:03:26 +08:00
hz4th_coder 9d6481bd06 修复页面内容提取，过滤 JSON 错误信息 
- 改进 StaticText 解析逻辑
- 过滤知乎等网站的反爬 JSON 错误
- 正确提取页面文本内容
v1.5.1 		2026-07-13 16:56:08 +08:00
hz4th_coder e13e4074f1 互联网搜索独立页面 + 一键保存全部功能 
- 新增独立搜索页面 /search
- 支持一键保存所有搜索结果到内容库
- 支持自动抓取和自动保存选项
- 显示保存进度条
- 主页添加搜索入口链接
- 搜索结果状态实时显示（已抓取/已保存）
v1.5.0 		2026-07-13 16:38:14 +08:00
hz4th_coder 20f3ec1f18 修复页面抓取功能，使用 agent-browser 替代 requests 
- 改用浏览器方式抓取页面内容，绑过反爬虫机制
- 从 accessibility tree snapshot 中提取文本内容
- 增加等待时间让页面完全加载
- 可抓取知乎等有反爬措施的网站
v1.4.1 		2026-07-13 12:14:21 +08:00
hz4th_coder 7bb5a250c8 前端增加人工互联网搜索功能 
- 新增互联网搜索面板，支持手动输入关键词搜索
- 搜索结果展示为卡片形式，显示标题和链接
- 支持抓取单个结果的详细内容
- 可一键保存搜索结果到内容库
- 新增搜索 API 端点：/api/articles/internet-search
- 搜索结果详情模态框展示
- 响应式设计，搜索结果自适应布局
v1.4.0 		2026-07-13 12:04:20 +08:00
hz4th_coder 4f02a6a0ea 实现浏览器方式互联网搜索功能 
- 使用 agent-browser 浏览器自动化进行 Bing 搜索
- 解析 accessibility tree 提取搜索结果
- 自动获取每个结果的 URL
- 支持设置最大结果数量
v1.3.0 		2026-07-13 11:55:33 +08:00
hz4th_coder 187d5037b8 添加Git推送说明文档 2026-07-12 01:24:46 +08:00
hz4th_coder 47729a52da 添加部署文档和说明 v1.2.0 2026-07-12 01:24:19 +08:00
hz4th_coder 8ad0246567 添加前端界面和操作页面 
功能：
- 统计数据展示
- 待处理产品列表管理
- 内容库文章展示和搜索
- 处理历史查看
- 系统配置管理
- 添加产品/文章的模态框
- 手动触发处理和批量处理

界面设计：
- 现代化渐变风格
- 响应式布局
- 交互式操作按钮
- 实时数据刷新
v1.1.0 		2026-07-12 01:23:15 +08:00
hz4th_coder e3bc88343a 添加.gitignore文件，排除缓存和临时文件 v1.0.0 2026-07-12 01:08:08 +08:00
hz4th_coder b7b09251f8 初始化参数数据自动化管理系统 
功能:
- 文章内容库管理
- 待处理产品列表管理
- 自动处理流程
- 智能搜索和数据提取
- ParamHub API集成
- 定时任务调度

部署端口: 16043
 2026-07-12 01:07:26 +08:00