Logo
Explore Help
Register Sign In
hz4th_coder/universal-crawler
Watch 1
Star 0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
15 Commits 1 Branch 24 Tags
66ba1a7cfc0335df01073d8ded91094453df01a1
Commit Graph
5 Commits
Author SHA1 Message Date
hz4th_coder 66ba1a7cfc v1.0.14: 自动爬取支持深度/页数无限制(默认0/1000), 待爬链接持久化缓存队列(停止后续爬), 起始网址不去重, 清空缓存API 2026-08-11 21:07:31 +08:00
hz4th_coder 3ad3d00ca8 v1.0.13: 自动爬取改为持续递归(无深度限制, 爬到无新链接为止), max_pages作安全上限(默认200) 2026-08-11 19:45:51 +08:00
hz4th_coder 5a137514e8 v1.0.8: 自动爬取URL规范化去重(锚点/跟踪参数/尾部斜杠/默认端口) + 修复反爬启发式误伤小页面 2026-08-11 17:57:59 +08:00
hz4th_coder 1de2a0af54 v1.0.2: 自动爬取试爬取功能 + 每个页面/图片生成操作信息元数据(模式/时间/网址/来源链接/深度等) 2026-08-11 13:20:14 +08:00
hz4th_coder dede5003a4 通用爬虫系统 v1.0.0: 批量/定时/自动爬取 + Web管理界面 + 图片/通知/热更新 2026-08-11 12:44:18 +08:00
Powered by Gitea Version: 1.28.0+dev-291-g9c915e4e1a Page: 14ms Template: 3ms
Auto
English
Bahasa Indonesia Deutsch English Español Français Gaeilge Italiano Latviešu Magyar nyelv Nederlands Polski Português de Portugal Português do Brasil Suomi Svenska Türkçe Čeština Ελληνικά Български Русский Українська فارسی മലയാളം 日本語 简体中文 繁體中文(台灣) 繁體中文(香港) 한국어
Licenses API