65 lines
1.6 KiB
Markdown
65 lines
1.6 KiB
Markdown
|
# Product Crawler - 产品参数爬取系统
|
||
|
|
|
||
|
|
> 自动从官方网站爬取产品参数信息，支持多步骤爬取流程配置
|
||
|
|
|
||
|
|
## 项目结构
|
||
|
|
|
||
|
|
```
|
||
|
|
product-crawler/
|
||
|
|
├── app.py # 主程序入口
|
||
|
|
├── crawler/
|
||
|
|
│ ├── __init__.py
|
||
|
|
│ ├── base.py # 爬虫基类
|
||
|
|
│ ├── browser.py # 浏览器爬虫（处理JS渲染）
|
||
|
|
│ ├── static.py # 静态页面爬虫
|
||
|
|
│ └── pipelines.py # 数据处理管道
|
||
|
|
├── spiders/ # 具体网站爬虫配置
|
||
|
|
│ ├── __init__.py
|
||
|
|
│ ├── byd.py # 比亚迪爬虫
|
||
|
|
│ └── templates.py # 爬虫模板
|
||
|
|
├── admin/ # 后台管理
|
||
|
|
│ ├── app.py
|
||
|
|
│ └── templates/
|
||
|
|
├── data/ # 数据存储
|
||
|
|
│ └── products.json
|
||
|
|
├── config/
|
||
|
|
│ └── settings.py # 配置文件
|
||
|
|
└── requirements.txt
|
||
|
|
```
|
||
|
|
|
||
|
|
## 功能特点
|
||
|
|
|
||
|
|
1. **多步骤爬取流程**
|
||
|
|
- 入口页面 → 产品列表 → 产品详情
|
||
|
|
- 可配置每一步的解析规则
|
||
|
|
|
||
|
|
2. **多种爬取方式**
|
||
|
|
- 静态爬虫：requests + BeautifulSoup
|
||
|
|
- 浏览器爬虫：Playwright/Selenium（处理JS渲染）
|
||
|
|
|
||
|
|
3. **后台管理**
|
||
|
|
- 爬虫任务管理
|
||
|
|
- 爬取结果查看
|
||
|
|
- 定时任务配置
|
||
|
|
|
||
|
|
4. **数据存储**
|
||
|
|
- JSON文件存储
|
||
|
|
- 支持导出CSV/Excel
|
||
|
|
|
||
|
|
## 快速开始
|
||
|
|
|
||
|
|
```bash
|
||
|
|
# 安装依赖
|
||
|
|
pip install -r requirements.txt
|
||
|
|
|
||
|
|
# 运行主服务
|
||
|
|
python app.py
|
||
|
|
|
||
|
|
# 后台管理
|
||
|
|
python admin/app.py
|
||
|
|
```
|
||
|
|
|
||
|
|
## 访问地址
|
||
|
|
|
||
|
|
- API服务: http://localhost:19011
|
||
|
|
- 后台管理: http://localhost:19012
|