HLE
认知能力轨迹公开
指标 Accuracy题数 2,158采样 1Harness —
轨迹数据包
全部模型、全部题目的轨迹，JSONL 格式，1.2 GB
排名
Accuracy，最高档
分数与成本
横轴是美元成本，对数刻度
暂无完整的分数与成本数据
结果
点一行查看这次评测的记录
| # | 模型 | 推理档 | Harness | Accuracy | ± | 成本 | 每题成本 | 输出 tokens | 每题耗时 | 评测日期 |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Qwen3.8-27B阿里巴巴 | xhigh | — | 0.311 | — | — | — | 77.7M | — | 2026-10-20 |
评测配置
- temperature
- 0.6
- top_p
- 1
- 采样次数
- 1
- 最大输出长度
- 65,536 token
- 分数计算方式
- —
- judge 模型
- Qwen3-235B-A22B
- harness
- —
- 评测 recipe
- —
- 评测框架
- OPT 1478395
- 其他
- top_k=-1