AA-LCR
认知能力轨迹公开
指标 Accuracy题数 100采样 4Harness —
轨迹数据包
全部模型、全部题目的轨迹，JSONL 格式，3.3 GB
排名
Accuracy，最高档
分数与成本
横轴是美元成本，对数刻度
暂无完整的分数与成本数据
结果
点一行查看这次评测的记录
| # | 模型 | 推理档 | Harness | Accuracy | ± | 成本 | 每题成本 | 输出 tokens | 每题耗时 | 评测日期 |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Kimi-K3月之暗面 | max | — | 0.830 | — | — | — | 445.2K | 147 秒 | 2026-10-22 |
| 2 | Qwen3.8-27B阿里巴巴 | xhigh | — | 0.813 | — | — | — | 1.1M | — | 2026-10-19 |
| 3 | DeepSeek-V4-Pro深度求索 | max | — | 0.755 | — | — | — | 1.4M | 174 秒 | 2026-10-26 |
| 4 | GLM-5.3智谱 | max | — | 0.653 | — | — | — | 1.9M | 360 秒 | 2026-10-19 |
评测配置
- temperature
- 0.6
- top_p
- 1
- 采样次数
- 4
- 最大输出长度
- 16,384 token
- 分数计算方式
- —
- judge 模型
- Qwen3-235B-A22B
- harness
- —
- 评测 recipe
- —
- 评测框架
- OPT 1478395
- 其他
- top_k=-1