v1.0.0 模型评测网站:模型运行速度排行(解码/预填充/首字) + 账号体系 + 接收llm-speed-tester一键发送 + 演示数据 + 图表(16016)
This commit is contained in:
@@ -0,0 +1,54 @@
|
||||
# ⚡ 模型评测网站(model-eval-site)
|
||||
|
||||
聚合展示各种大模型的**运行速度评测**(解码 / 预填充 / 首字延迟),并支持从
|
||||
[llm-speed-tester](../llm-speed-tester/) 一键把测试结果发送到**对应账号**下展示。
|
||||
|
||||
- 端口:**16066**
|
||||
- 技术栈:Flask + SQLite + data-chart-tool(16016) 图表
|
||||
|
||||
## 页面
|
||||
|
||||
| 页面 | 说明 |
|
||||
|------|------|
|
||||
| `/`(index.html) | 🏆 模型速度排行:按模型+提供商聚合所有提交,表头可排序 + 解码速度 TOP20 对比图 |
|
||||
| `/model.html` | 单模型详情:按上下文长度的速度折线图 + 各账号提交明细 |
|
||||
| `/submissions.html` | 📥 提交管理:分页/搜索/详情弹窗/删除 + 「🎲 生成演示数据」 |
|
||||
| `/accounts.html` | 👥 账号管理:账号列表(含提交数)/ 新增 / 编辑 / 删除 |
|
||||
|
||||
## 与 llm-speed-tester 联动
|
||||
|
||||
1. 在 llm-speed-tester 左侧「📤 评测站同步」填评测站地址(默认 `http://127.0.0.1:16066`)和账号名
|
||||
2. 测试完成后,在测试历史行点「📤 发送」,或在详情弹窗点「📤 发送到评测站」
|
||||
3. 结果以 **POST /api/submit** 提交,账号不存在自动创建,提交后排行榜实时更新
|
||||
|
||||
## API
|
||||
|
||||
| 方法 | 路径 | 说明 |
|
||||
|------|------|------|
|
||||
| POST | `/api/submit` | 接收 llm-speed-tester 提交(头 `X-Token: meval16066`) |
|
||||
| GET | `/api/health` | 健康检查 + 统计 |
|
||||
| GET | `/api/stats` | 统计卡片(模型数/提交数/账号数/采样数) |
|
||||
| GET | `/api/leaderboard` | 模型速度排行(可 `sort`/`order`/`limit`) |
|
||||
| GET | `/api/model` | 单模型详情(`provider` + `model` 参数) |
|
||||
| GET | `/api/submissions` | 提交列表(`page`/`page_size`/`q`/`account_id`/`model`/`provider`) |
|
||||
| GET | `/api/submissions/<id>` | 单条提交详情 |
|
||||
| DELETE | `/api/submissions/<id>` | 删除提交 |
|
||||
| GET | `/api/submissions/<id>/chart` | 单条提交:上下文长度→速度折线图 PNG |
|
||||
| GET/POST | `/api/accounts` | 账号列表 / 新增 |
|
||||
| PUT/DELETE | `/api/accounts/<id>` | 改账号 / 删账号(连带删其提交) |
|
||||
| POST | `/api/seed-demo` | 🎲 生成演示评测数据(便于看排行效果) |
|
||||
| POST | `/api/chart` | 图表代理(转发 data-chart-tool 16016) |
|
||||
|
||||
## 数据
|
||||
|
||||
- `data/model_eval.db`:SQLite(accounts / submissions)
|
||||
- 详细字段见 `database.py`
|
||||
|
||||
## 部署
|
||||
|
||||
```bash
|
||||
./start.sh # 启动(默认 16066,PID 文件管理)
|
||||
./start.sh stop # 停止
|
||||
# 依赖: openclaw conda 环境 flask/requests;图表走 data-chart-tool(16016)
|
||||
# Git: hz4th_coder/model-eval-site
|
||||
```
|
||||
Reference in New Issue
Block a user