hz4th_coder/param-auto-manager
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
52 Commits 2 Branches 51 Tags
master
Commit Graph
30 Commits
Author SHA1 Message Date
hz4th_coder 9260542aa8 v2.1.0 数据质量检查+自动重新探索+审核拒绝复盘 
- 新增数据质量评估：按类别核心字段（参数/上下文/发布日期/组织等）计算覆盖度
- 质量不足自动重新探索（限1次）：根据缺失字段生成4个针对性搜索词，重新搜索+抓取+提取
- 填充模板升级：补充AI模型完整字段（架构/开源/价格/能力），要求输出带URL的data_sources
- 提交附引用链接：从提取内容收集标题+URL，随产品数据提交给ParamHub
- 新增审核监控线程：提交后轮询审核状态，检测到拒绝时记录拒绝理由
- 审核拒绝复盘：大模型分析拒绝理由→生成定向搜索词→补搜缺失信息→重新提取填充→重新提交
- 复盘实测：deepseek-v4-flash-0731 被拒(缺参数量)后自动补全 37B/MoE/128K/价格，重新提交成功
 2026-08-13 23:00:51 +08:00
hz4th_coder a0b870ee98 v2.0.1 修复搜索并发冲突与提交失败问题 
- 搜索服务改用 namespace 隔离浏览器实例（参考 webtest-agent 方案），
  解决定时任务与手动处理并发调用 agent-browser 互相踢掉导致搜索结果为0的问题
- agent-browser 调用加瞬时错误自动重试，使用 /tmp/xdg-rt 目录
- 步骤4 提示词放宽：品牌/系列相关页面也纳入提取，无精确型号时兜底选最相关内容
- 步骤4 大模型返回空时自动兜底，不再直接跳过导致会话卡死
- 会话收尾修复：失败/无数据时会话状态正确标记，并自动移除待处理产品
- 处理入口统一：定时任务/单产品/批量处理均改为 process_monitor 大模型流程（防重）
- paramhub_client 增加登录态自动恢复：401 或连接失败时自动重新登录重试
- 全流程实测通过：deepseek-v4-flash-0731 → review_id 19ed2daaabfe
 2026-08-13 18:25:22 +08:00
hz4th_coder 23991c3552 v2.0.0 大模型驱动版：移除智能体，直接调用大模型接口 
- 核心改造：不再使用 openclaw 智能体执行处理步骤，改为直接调用大模型接口
- 新增 services/llm_client.py：OpenAI 兼容接口客户端，支持多模型配置管理
- 步骤4/5 由大模型直接完成（提取产品数据、填充字段）
- 步骤6 改为直接调用 ParamHub API 提交审核
- 新增 llm_configs 数据库表，默认配置 unsloth/Qwen3.6-27B-Q4_K_M (262144上下文)
- 新增 /api/llm 配置管理 API：增删改查、切换激活、测试连接
- 前端首页新增「大模型配置」面板，可随时新增/切换模型
- 处理步骤名称更新为「大模型」版
 2026-08-13 17:15:53 +08:00
hz4th_coder 6abd3389f3 修复停止功能无法终止旧会话的问题 
- 修改 stop_session 方法，支持停止数据库中的旧会话
- 服务重启后 active_sessions 为空，导致无法停止旧会话
- 现在会检查数据库并直接更新会话状态
- 修复 chatglm-3 等长时间运行会话无法停止的问题
 2026-07-17 00:36:57 +08:00
hz4th_coder 19c7592e0e 新增异常产品管理功能 
- 新增 abnormal_products 数据库表
- 内容库和互联网均无搜索结果时存入异常库
- 新增异常产品 API：
  - GET /api/products/abnormal - 获取异常产品列表
  - GET /api/products/abnormal/<product_name> - 获取异常产品详情
  - POST /api/products/abnormal/<product_name>/resolve - 解决异常产品
  - DELETE /api/products/abnormal/<product_name> - 删除异常产品记录
  - POST /api/products/abnormal/<product_name>/retry - 重试处理
- 更新 README 文档
 2026-07-17 00:24:11 +08:00
hz4th_coder 11edee581b 新增产品状态检查功能 
- 处理前检查产品是否已存在（已发布/待审核）
- 避免重复处理已有产品
- 新增 check_product_exists API 方法
- 更新 README 文档
 2026-07-16 23:35:39 +08:00
hz4th_coder a367887ace fix: 修复步骤3抓取网页问题 
- 去掉[:5]限制，现在抓取所有互联网搜索结果
- 创建background_tasks记录，在/search页面显示抓取进度
- 每抓取一个URL更新进度和当前项
- 完成/失败/停止时更新任务状态
 2026-07-16 01:01:08 +08:00
hz4th_coder 42c2a53623 fix: 修复智能体调用卡死问题 
- 添加--json参数到openclaw agent命令
- 正确解析JSON输出结构: result.payloads[0].text
- 使用Popen替代subprocess.run，支持进程组杀死
- 超时时间从5分钟改为3分钟
- 添加os.setsid创建新进程组，确保超时时能杀死所有子进程
- 增强异常处理和日志记录
 2026-07-16 00:08:21 +08:00
hz4th_coder 9b11c02cba feat: 步骤6提交审核改用智能体执行 
- 新增步骤6任务模板(config/agent_submit_template.txt)
- 步骤6调用智能体hz4th_editor执行提交操作
- 智能体根据产品类别选择对应API接口提交数据
- 页面新增步骤6模板编辑面板，支持查看/编辑/保存/预览
- 修正步骤5标题为'填充字段'（去掉'并提交'）
- 新增API: GET/POST /api/process/submit-template
 2026-07-15 16:52:28 +08:00
hz4th_coder 4177acf75c refactor: 步骤5简化为数据生成+格式检查 
- 步骤5不再提交到ParamHub，只生成产品数据
- 智能体任务模板去掉提交部分，增加格式检查要求
- 新增本地格式验证方法_validate_product_data
- 验证字段类型、必填项、数值范围等
- 步骤6恢复为独立的提交审核步骤
- 更新步骤描述为'调用智能体生成产品数据并检查格式'
 2026-07-15 16:42:19 +08:00
hz4th_coder eea7269eda feat: 步骤5填充字段改用智能体执行 
- 新增步骤5任务模板(config/agent_fill_fields_template.txt)
- 步骤5调用智能体hz4th_editor执行：
  1. 获取API文档了解对应类别字段定义
  2. 从内容库获取相关内容数据
  3. 整理产品参数
  4. 通过API提交到ParamHub审核系统
- /process页面新增步骤5模板编辑面板
- 步骤6改为确认提交结果（备用本地提交）
- 新增API: GET/POST /api/process/fill-fields-template
 2026-07-15 16:31:00 +08:00
hz4th_coder 5fdcf7a5b6 refactor: 步骤4智能体任务改为传递内容库ID 
- 模板改为传递内容库数据ID列表而非内容摘要
- 智能体任务改为分析ID对应数据与产品的相关性和参数提取价值
- 智能体输出改为relevant_ids列表+分析说明
- 步骤3保存内容库时记录article_id
- 步骤4根据智能体返回的ID从内容库获取实际内容
- 更新_fill_fields适配新的extracted_data格式
 2026-07-15 13:00:03 +08:00
hz4th_coder 96c479916b feat: 步骤4提取产品数据改用智能体hz4th_editor执行 
- 步骤4调用 openclaw agent --agent hz4th_editor --message 执行提取任务
- 新增任务文本模板(config/agent_task_template.txt)，支持变量填充
- /process页面新增模板编辑面板，可查看/编辑/保存/预览模板
- 模板变量: {{product_name}} {{category}} {{subcategory}} {{library_results}} {{internet_results}}
- 新增API: GET/POST /api/process/agent-template, POST /api/process/agent-template/preview
 2026-07-15 11:18:47 +08:00
hz4th_coder c833394f06 fix: 统一处理流程和后台任务显示 
- 处理流程抓取失败时记录到失败URL库
- /search页面新增产品处理会话展示区
- 同时显示后台抓取任务和产品处理会话
- 自动刷新同时更新三种数据：任务、会话、失败URL
 2026-07-14 15:36:18 +08:00
hz4th_coder 5e3e9e7335 fix: 修复处理流程和后台任务问题 
- 步骤简要数值显示在每个步骤圆圈下方
- 处理流程抓取网页后保存到内容库
- 修复后台任务结果解析错误
 2026-07-14 15:13:31 +08:00
hz4th_coder 8f0efe28b6 feat: 新增产品处理流程监控功能 
- 新增处理会话表(process_sessions)和步骤表(process_steps)
- 支持实时查看每个产品的处理步骤进度
- 支持暂停/继续/停止正在进行的处理
- 处理步骤包括：搜索内容库、搜索互联网、抓取网页、提取数据、填充字段、提交审核
- 新增处理监控页面 /process
- 每个步骤记录详细数据、耗时、状态
- 历史记录可查看每个步骤的执行详情
 2026-07-14 12:23:49 +08:00
hz4th_coder 3f9848c635 fix: 修复内容库显示问题 
- 产品名称(product_names)不再自动填充为网页标题
- 内容库显示搜索标题(search_title)作为主标题
- 产品名称单独显示（如果有关联）
 2026-07-14 11:29:22 +08:00
hz4th_coder 6534c3315b feat: 新增后台任务系统，支持抓取任务在后台持续运行 
- 新增后台任务API (/api/tasks)
- 抓取任务在后台独立运行，不受页面刷新影响
- 支持任务状态查询和手动停止
- 新增后台任务管理界面
- 数据库新增 background_tasks 表
- 前端使用轮询方式更新任务进度
 2026-07-14 10:59:18 +08:00
hz4th_coder 76e24c4fa3 新增搜索标题和网页标题双字段 
- 数据库新增 search_title 字段存储搜索结果标题
- product_names 存储抓取到的网页标题
- 搜索页面显示两个标题（搜索标题 + 网页标题）
- 内容库页面也显示两个标题
 2026-07-14 00:00:50 +08:00
hz4th_coder d23d526629 修复搜索和重复检查问题 
1. 搜索文章时增加URL字段搜索，解决重复抓取问题
2. 优化搜索结果解析，多获取几个结果确保返回足够数量
 2026-07-13 23:51:23 +08:00
hz4th_coder 24f0d3c35b 修复搜索抓取相关问题 
1. 放宽搜索结果过滤条件，返回更多结果
2. 抓取返回详细错误信息（如超时、网络错误等）
3. 错误信息记录到失败URL库中
4. 统一返回格式包含success字段
 2026-07-13 23:40:13 +08:00
hz4th_coder c40acab1c9 优化URL抓取：增加超时时间和备用方案 
- 浏览器超时从20秒增加到60秒
- 浏览器失败时使用 requests 备用方案抓取静态内容
- 解决部分网站加载慢导致超时的问题
 2026-07-13 23:11:54 +08:00
hz4th_coder 4352b81c20 修复语法错误：Python try语句格式 2026-07-13 23:03:53 +08:00
hz4th_coder c960d959ad 新增搜索结果缓存功能 
- 新增 search_cache 数据库表存储搜索缓存
- 搜索前优先查询缓存，命中则直接返回
- 缓存默认有效期7天，可配置
- 前端支持'使用缓存'开关选项
- 显示缓存状态提示
- 支持自动清理过期缓存
 2026-07-13 22:55:36 +08:00
hz4th_coder c3eef4fa21 互联网搜索支持多搜索引擎选择 
- 新增搜索引擎选择下拉框
- 支持 Bing 中国（默认）、Bing 国际、Google、百度
- 后端 API 支持 engine 参数
- 添加百度搜索结果解析方法
 2026-07-13 17:03:26 +08:00
hz4th_coder 9d6481bd06 修复页面内容提取，过滤 JSON 错误信息 
- 改进 StaticText 解析逻辑
- 过滤知乎等网站的反爬 JSON 错误
- 正确提取页面文本内容
 2026-07-13 16:56:08 +08:00
hz4th_coder 20f3ec1f18 修复页面抓取功能，使用 agent-browser 替代 requests 
- 改用浏览器方式抓取页面内容，绑过反爬虫机制
- 从 accessibility tree snapshot 中提取文本内容
- 增加等待时间让页面完全加载
- 可抓取知乎等有反爬措施的网站
 2026-07-13 12:14:21 +08:00
hz4th_coder 4f02a6a0ea 实现浏览器方式互联网搜索功能 
- 使用 agent-browser 浏览器自动化进行 Bing 搜索
- 解析 accessibility tree 提取搜索结果
- 自动获取每个结果的 URL
- 支持设置最大结果数量
 2026-07-13 11:55:33 +08:00
hz4th_coder e3bc88343a 添加.gitignore文件，排除缓存和临时文件 2026-07-12 01:08:08 +08:00
hz4th_coder b7b09251f8 初始化参数数据自动化管理系统 
功能:
- 文章内容库管理
- 待处理产品列表管理
- 自动处理流程
- 智能搜索和数据提取
- ParamHub API集成
- 定时任务调度

部署端口: 16043
 2026-07-12 01:07:26 +08:00