v2.8.3 新增测试间隔时间:每次采样之间让大模型接口空闲休息,默认5秒可配置(0关闭),等待期间支持停止

This commit is contained in:
2026-09-15 14:56:52 +08:00
parent 9580372f85
commit fc2005806a
4 changed files with 33 additions and 5 deletions
+5 -3
View File
@@ -114,11 +114,12 @@
},
"gen": {
"name": "Qwen3 不同上下文长度速度对比",
"context_lengths": [512, 2048, 4096, 8192, 16384, 32768, 65536, 131072],
"context_lengths": [4096, 8192, 16384, 32768, 65536, 98304, 131072],
"max_tokens": 128,
"samples": 2,
"warmup": true,
"avoid_cache": true
"avoid_cache": true,
"interval": 5
}
}
```
@@ -128,12 +129,13 @@
| 字段 | 类型 | 默认 | 说明 |
|------|------|------|------|
| `name` | string | `""` | 测试名称/主题(会存入测试记录并展示在历史与详情) |
| `context_lengths` | number[] | `[512,2048,4096,8192,16384,32768,65536,131072]` | 要测试的上下文长度列表,每个长度独立校准+预热+采样 |
| `context_lengths` | number[] | `[4096,8192,16384,32768,65536,98304,131072]` | 要测试的上下文长度列表,每个长度独立校准+预热+采样 |
| `max_tokens` | number | `128` | 解码输出 token 长度 |
| `samples` | number | `2` | 每个(长度×并发)组合的采样次数 |
| `concurrency_levels` | number[] | `[1]` | 并发数列表(默认单流)。>1 时每采样同时发起 N 个并行流,聚合为整批吞吐指标;多档自动并排对比 |
| `warmup` | bool | `true` | 测试前空转预热(不计速度,按并发数预热) |
| `avoid_cache` | bool | `true` | 随机前缀避免缓存命中(每个并发流独立前缀) |
| `interval` | number | `5` | 每次采样之间的间隔秒数,让接口空闲休息(0 表示不等待) |
**响应:** `{ "ok": true, "id": 9 }`