AutomationBench
Agentic 能力应用领域Agentic轨迹公开
指标 Pass Rate题数 600采样 1Harness —
轨迹数据包
全部模型、全部题目的轨迹，JSONL 格式，2.0 GB
排名
Pass Rate，最高档
分数与成本
横轴是美元成本，对数刻度
暂无完整的分数与成本数据
结果
点一行查看这次评测的记录
| # | 模型 | 推理档 | Harness | Pass Rate | ± | 成本 | 每题成本 | 输出 tokens | 每题耗时 | 评测日期 |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GLM-5.3智谱 | max | — | 0.525 | — | — | — | 7.0M | 869 秒 | 2026-10-19 |
| 2 | DeepSeek-V4-Pro深度求索 | max | — | 0.457 | — | — | — | 12.8M | 970 秒 | 2026-10-26 |
| 3 | Qwen3.8-27B阿里巴巴 | xhigh | — | 0.415 | — | — | — | 8.6M | — | 2026-10-19 |
| 4 | Kimi-K3月之暗面 | max | — | 0.035 | — | — | — | 15.4M | 4844 秒 | 2026-10-24 |
评测配置
- temperature
- 各记录不同
- top_p
- 各记录不同
- 采样次数
- 1
- 最大输出长度
- 32,768 token
- 分数计算方式
- —
- judge 模型
- —
- harness
- —
- 评测 recipe
- —
- 评测框架
- OPT 1478395
- 其他
- 各记录不同