SimpleQA Verified
认知能力轨迹公开
指标 Accuracy题数 1,000采样 1Harness —
轨迹数据包
全部模型、全部题目的轨迹，JSONL 格式，110.4 MB
排名
Accuracy，最高档
分数与成本
横轴是美元成本，对数刻度
暂无完整的分数与成本数据
结果
点一行查看这次评测的记录
| # | 模型 | 推理档 | Harness | Accuracy | ± | 成本 | 每题成本 | 输出 tokens | 每题耗时 | 评测日期 |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | DeepSeek-V4-Pro深度求索 | max | — | 0.571 | — | — | — | 764.4K | 46 秒 | 2026-10-26 |
| 2 | Kimi-K3月之暗面 | max | — | 0.446 | — | — | — | 3.2M | 349 秒 | 2026-10-22 |
| 3 | GLM-5.3智谱 | max | — | 0.433 | — | — | — | 3.0M | 173 秒 | 2026-10-20 |
| 4 | Qwen3.8-27B阿里巴巴 | xhigh | — | 0.111 | — | — | — | 6.6M | — | 2026-10-19 |
评测配置
- temperature
- 0.6
- top_p
- 1
- 采样次数
- 1
- 最大输出长度
- 65,536 token
- 分数计算方式
- —
- judge 模型
- Qwen3-30B-A3B-Instruct-2507
- harness
- —
- 评测 recipe
- —
- 评测框架
- OPT 1478395
- 其他
- top_k=-1