Artificial Analysis 發布 Coding Agent Index v2.1:Claude Fable 5.2 與 Opus 5.5 並列第一,得分 58
Artificial Analysis 發布 Coding Agent Index v2.1,將模型與其代理程式框架一併評分。此次更新將 FrontierCode 從 1.1 升級至 2.0,並將 Terminal-Bench 從 4.0 升級至 4.1。這些分數由 Artificial Analysis 自行評定。
變更內容:
- FrontierCode-AA 2.0 取代 FrontierCode v1.1。這是 Artificial Analysis 對 Cognition 的 FrontierCode 2.0 所做的實作:包含 132 項真實世界的程式設計任務,並以程式碼儲存庫維護者是否會合併代理程式的變更作為評分依據。
- Terminal-Bench 4.1 取代 4.0:保留相同的 66 項任務,並更新驗證器;Artificial Analysis 表示,這些更新提升了可靠性,並增強了對獎勵操弄的抵抗力。
- SWE-Atlas-QnA-AA 仍保留在 Index 中。
- v2.1 的分數普遍較低,平均約少 5 分,主要受 FrontierCode-AA 2.0 影響。搭載 GPT-6.1 Terra(max)的 Codex 是唯一分數未下降的配置,與先前分數相差不超過 1 分。
結果:
- Claude Fable 5.2 與 Claude Opus 5.5 並列第一,得分皆為 58。Fable 5.2 在 Claude Code 中以 xhigh 和 high 配置均得 58 分;Opus 5.5(max)在 Claude Code 中得 58 分,搭配 GPT-6 Luna High、使用 Cognition 的多模型框架 Devin Fusion CLI 時也得 58 分。
- Fable 5.2(max)得 56 分,因為更多次嘗試觸及任務時間限制。接下來是 Claude Code 中的 Claude Sonnet 5.5(max,56 分),以及 Antigravity CLI 中的 Gemini 4 Carbon(high,55 分)。
- 在得分 48 分以上的配置中,每項任務的成本相差約 30 倍:從搭載 GPT-6.1 Sol(max,52 分)的 Codex,每項任務 $1.51,到搭載 Fable 5.2(max,56 分)的 Claude Code,每項任務 $44.22。
來源
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。