关于我们

CAA（Chinese Artificial Analysis）是一个独立的国产大模型评测站。我们用统一的配置评测各家模型，并公开每个分数背后的评测配置和逐题轨迹。

评测过的模型4个

benchmark8个

评测记录120条

条公开的逐题轨迹31.9万

我们评测什么

benchmark 分成四大类；综合分是全部 benchmark 换算到 0–100 后等权平均。

指令遵循、幻觉控制和安全对齐

语言理解与表达、知识储备和推理能力

任务规划与分解、工具调用和记忆管理

软件工程、通用办公、金融经济、法律、创意设计和网络安全

每个分数都列出 temperature、top_p、采样次数、最大输出长度、judge 模型、harness 和评测框架版本，照着配置就能复现。

每道题的输入、推理、工具调用和判分都能查看，也能按 benchmark 整包下载。许可受限的 benchmark 只公开分数和配置。

专题对比量化、自部署、模型尺寸或 harness 时，其余配置全部固定，分数差异只来自这一个因素。

评测负责人

GitHub个人主页

数据与评测

GitHub个人主页

评测基础设施

GitHub个人主页

前端与设计

GitHub个人主页

想让我们评测某个模型或 benchmark，或者发现分数有问题，都可以告诉我们。