MMLU-Pro
认知能力轨迹公开
指标 Accuracy题数 12,032采样 1Harness —
轨迹数据包
全部模型、全部题目的轨迹，JSONL 格式，1.8 GB
排名
Accuracy，最高档
分数与成本
横轴是美元成本，对数刻度
暂无完整的分数与成本数据
结果
点一行查看这次评测的记录
| # | 模型 | 推理档 | Harness | Accuracy | ± | 成本 | 每题成本 | 输出 tokens | 每题耗时 | 评测日期 |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Kimi-K3月之暗面 | max | — | 0.888 | — | — | — | 14.7M | 108 秒 | 2026-10-23 |
| 2 | DeepSeek-V4-Pro深度求索 | max | — | 0.871 | — | — | — | 47.9M | 139 秒 | 2026-10-27 |
| 3 | Qwen3.8-27B阿里巴巴 | xhigh | — | 0.852 | — | — | — | 54.1M | — | 2026-10-20 |
| 4 | GLM-5.3智谱 | max | — | 0.851 | — | — | — | 50.8M | 227 秒 | 2026-10-16 |
评测配置
- temperature
- 0.6
- top_p
- 1
- 采样次数
- 1
- 最大输出长度
- 各记录不同
- 分数计算方式
- —
- judge 模型
- —
- harness
- —
- 评测 recipe
- —
- 评测框架
- OPT 1478395
- 其他
- top_k=-1