Artificial Analysis brengt Coding Agent Index v2.0 uit; Claude Code met Opus 5.5 staat bovenaan met 61,7

Artificial Analysis heeft versie 2.0 van zijn Coding Agent Index uitgebracht. De index beoordeelt modellen samen met hun agent-harnassen op 290 taken rond software-engineering, terminalgebruik en vragen over codeopslagplaatsen, elk met hetzelfde gewicht. De scores zijn van Artificial Analysis zelf en niet onafhankelijk geverifieerd.

Wat is er veranderd sinds v1.5:

• FrontierCode v1.1 van Cognition vervangt DeepSWE v1.1. De benchmark omvat 100 taken op echte open-sourcecodeopslagplaatsen met een afgeschermde testset. De beoordeling is gebaseerd op de vraag of een maintainer de wijziging zou samenvoegen; een poging die wordt aangemerkt als toegang tot materiaal met oplossingen, krijgt nul punten.
• SWE-Atlas-QnA-AA herziet de beoordeling van Scale AI's 124 taken met vragen over codeopslagplaatsen: 127 van de 1.306 beoordelingscriteria zijn opnieuw geformuleerd en de beoordelaar is nu GPT-6 Luna (xhigh), met vijf stemmen per criterium.
• Terminal-Bench 4.0 is ongewijzigd.
• Scores zijn lager voor bijna elke configuratie die in beide versies is gemeten: het gemiddelde daalt van 54,8 naar 47,4, voornamelijk door FrontierCode (gemiddeld 45,1% tegenover 65,6% op DeepSWE).

Resultaten:

• Index: Claude Code met Claude Opus 5.5 (max) scoort 61,7, vóór Claude Code met Claude Sonnet 5.5 (59,3), Muse Code met Muse Wonder Full (58,9) en Claude Code met Claude Fable 5.1 (57,6).
• FrontierCode: Opus 5.5 scoort 56,0%, gevolgd door Codex met DeepSeek V4.1 Flash (52,6%), Codex met GPT-6.1 Sol (49,4%) en Codex met GPT-6 Astra (49,3%). 15 van de 24 configuraties scoren tussen 43% en 49%.
• SWE-Atlas-QnA-AA: Muse Code met Muse Wonder Full staat bovenaan met 68,8%, gevolgd door Claude Code met Fable 5.1 (66,4%) en Opus 5.5 (65,9%).
• Kosten per taak (API-kosten op basis van betalen per token): Codex met DeepSeek V4.1 Flash scoort 47,3 voor $0,39, Codex met GPT-6.1 Sol 54,1 voor $1,50, Codex met GPT-6 Astra 54,7 voor $7,04 en Claude Code met Opus 5.5 61,7 voor $11,42.