SWE-bench Pro
Agentic 能力Agentic轨迹公开
指标 Resolved Rate题数 731采样 1Harness Codex CLI
轨迹数据包
全部模型、全部题目的轨迹，JSONL 格式，—
排名
Resolved Rate，最高档
分数与成本
横轴是美元成本，对数刻度
暂无完整的分数与成本数据
结果
点一行查看这次评测的记录
| # | 模型 | 推理档 | Harness | Resolved Rate | ± | 成本 | 每题成本 | 输出 tokens | 每题耗时 | 评测日期 |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Qwen3.8-27B阿里巴巴 | xhigh | Codex CLI | 0.575 | — | — | — | 33.2M | — | 2026-10-22 |
| 2 | GLM-5.3智谱 | max | Codex CLI | 0.560 | — | — | — | 13.5M | — | 2026-10-23 |
评测配置
- temperature
- —
- top_p
- —
- 采样次数
- 1
- 最大输出长度
- —
- 分数计算方式
- —
- judge 模型
- —
- harness
- Codex CLI
- 评测 recipe
- —
- 评测框架
- OPT 06dca09
- 其他
- —