Artificial Analysis 发布 Coding Agent Index v2.0;Claude Code 搭配 Opus 5.5 以 61.7 分领跑
Artificial Analysis 发布了 Coding Agent Index v2.0,该指数对模型及其 agent harness 进行评分,涵盖软件工程、终端使用和代码仓库问答领域的 290 项任务,权重相同。分数由 Artificial Analysis 自行评定,未经独立验证。
相较 v1.5 的变化:
- Cognition 的 FrontierCode v1.1 取代 DeepSWE v1.1。它包含 100 项基于真实开源代码仓库的任务,并使用私有测试集;评分标准是维护者是否会合并该改动。若尝试被标记为访问了解答材料,则得分为零。
- SWE-Atlas-QnA-AA 更新了对 Scale AI 的 124 项代码仓库问答任务的评分:1,306 项评分标准中有 127 项经过改写,评判模型现为 GPT-6 Luna (xhigh),每项标准投票五次。
- Terminal-Bench 4.0 未作改动。
- 在两个版本中均有测量的几乎所有配置,分数都有所下降:平均分从 54.8 降至 47.4,主要原因是 FrontierCode(平均 45.1%,而 DeepSWE 为 65.6%)。
结果:
- 指数:Claude Code 搭配 Claude Opus 5.5 (max) 得分 61.7,领先于 Claude Code 搭配 Claude Sonnet 5.5(59.3)、Muse Code 搭配 Muse Wonder Full(58.9)和 Claude Code 搭配 Claude Fable 5.1(57.6)。
- FrontierCode:Opus 5.5 得分 56.0%,其次是 Codex 搭配 DeepSeek V4.1 Flash(52.6%)、Codex 搭配 GPT-6.1 Sol(49.4%)和 Codex 搭配 GPT-6 Astra(49.3%)。24 种配置中有 15 种得分在 43% 至 49% 之间。
- SWE-Atlas-QnA-AA:Muse Code 搭配 Muse Wonder Full 以 68.8% 领跑,其次是 Claude Code 搭配 Fable 5.1(66.4%)和 Opus 5.5(65.9%)。
- 每项任务成本(按 token 计费的 API 成本):Codex 搭配 DeepSeek V4.1 Flash 得分 47.3,成本为 $0.39;Codex 搭配 GPT-6.1 Sol 得分 54.1,成本为 $1.50;Codex 搭配 GPT-6 Astra 得分 54.7,成本为 $7.04;Claude Code 搭配 Opus 5.5 得分 61.7,成本为 $11.42。
来源
讨论
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。