Artificial Analysis brengt Coding Agent Index v2.1 uit: Claude Fable 5.2 en Opus 5.5 delen de eerste plaats met 58

Artificial Analysis heeft versie 2.1 van zijn Coding Agent Index uitgebracht, waarin modellen samen met hun agent-harnassen worden beoordeeld. FrontierCode is bijgewerkt van 1.1 naar 2.0 en Terminal-Bench van 4.0 naar 4.1. De scores zijn afkomstig van Artificial Analysis zelf.

Wat is er veranderd:

• FrontierCode-AA 2.0 vervangt FrontierCode v1.1. Het is de implementatie door Artificial Analysis van Cognitions FrontierCode 2.0: 132 programmeertaken uit de praktijk, beoordeeld op de vraag of een beheerder van de repository de wijziging van de agent zou samenvoegen.
• Terminal-Bench 4.1 vervangt 4.0: dezelfde 66 taken, met bijgewerkte verifiers die volgens Artificial Analysis de betrouwbaarheid en weerstand tegen reward hacking verbeteren.
• SWE-Atlas-QnA-AA blijft in de Index.
• De scores liggen in v2.1 gemiddeld ongeveer 5 punten lager, vooral door FrontierCode-AA 2.0. Codex met GPT-6.1 Terra (max) is de enige configuratie die niet lager scoort en blijft binnen 1 punt van zijn eerdere score.

Resultaten:

• Claude Fable 5.2 en Claude Opus 5.5 delen de eerste plaats met 58. Fable 5.2 scoort zowel op xhigh als op high 58 in Claude Code; Opus 5.5 (max) scoort 58 in Claude Code en, gecombineerd met GPT-6 Luna High, in Cognitions multi-modelharnas Devin Fusion CLI.
• Fable 5.2 (max) scoort 56, omdat bij meer pogingen de tijdslimiet van de taak wordt bereikt. Daarna volgen Claude Sonnet 5.5 (max, 56) in Claude Code en Gemini 4 Carbon (high, 55) in Antigravity CLI.
• De kosten per taak verschillen ongeveer 30 keer tussen configuraties die 48 of hoger scoren: van $1.51 voor Codex met GPT-6.1 Sol (max, 52) tot $44.22 voor Claude Code met Fable 5.2 (max, 56).