Artificial Analysis 发布 Coding Agent Index v2.1:Claude Fable 5.2 和 Opus 5.5 并列领先,均为 58 分
Artificial Analysis 发布了 Coding Agent Index v2.1,该指数将模型及其智能体运行框架一并评分。此次更新将 FrontierCode 从 1.1 升级至 2.0,并将 Terminal-Bench 从 4.0 升级至 4.1。分数由 Artificial Analysis 自行评定。
更新内容:
- FrontierCode-AA 2.0 取代 FrontierCode v1.1。这是 Artificial Analysis 对 Cognition 的 FrontierCode 2.0 的实现:包含 132 项真实世界编程任务,评分标准是代码仓库维护者是否会合并智能体提交的更改。
- Terminal-Bench 4.1 取代 4.0:任务仍为 66 项,但更新了验证器。Artificial Analysis 表示,此举提升了可靠性,并增强了对奖励投机的抵抗力。
- SWE-Atlas-QnA-AA 继续保留在该指数中。
- v2.1 的分数整体更低,平均下降约 5 分,主要受 FrontierCode-AA 2.0 影响。Codex 搭配 GPT-6.1 Terra(max)是唯一分数未下降的配置,与此前分数相差不超过 1 分。
结果:
- Claude Fable 5.2 和 Claude Opus 5.5 并列领先,均为 58 分。Fable 5.2 在 Claude Code 中的 xhigh 和 high 配置下均得 58 分;Opus 5.5(max)在 Claude Code 中得 58 分,在 Cognition 的多模型运行框架 Devin Fusion CLI 中搭配 GPT-6 Luna High 时也得 58 分。
- Fable 5.2(max)得 56 分,部分尝试因任务时限而结束。其后是 Claude Code 中的 Claude Sonnet 5.5(max,56 分)和 Antigravity CLI 中的 Gemini 4 Carbon(high,55 分)。
- 得分达到 48 分及以上的配置,每项任务的成本相差约 30 倍:从 Codex 搭配 GPT-6.1 Sol(max,52 分)的 $1.51,到 Claude Code 搭配 Fable 5.2(max,56 分)的 $44.22。
来源
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。