Artificial Analysis veröffentlicht Coding Agent Index v2.0; Claude Code mit Opus 5.5 führt mit 61,7

Artificial Analysis hat v2.0 seines Coding Agent Index veröffentlicht. Darin werden Modelle zusammen mit ihren Agent-Harnesses anhand von 290 Aufgaben aus den Bereichen Softwareentwicklung, Terminalnutzung und Repository-Fragen und -Antworten bewertet, jeweils gleich gewichtet. Die Bewertungen stammen von Artificial Analysis und wurden nicht unabhängig überprüft.

Änderungen gegenüber v1.5:

• FrontierCode v1.1 von Cognition ersetzt DeepSWE v1.1. Der Benchmark umfasst 100 Aufgaben in echten Open-Source-Repositories mit einem privaten Testsatz. Bewertet wird, ob ein Maintainer die Änderung übernehmen würde; bei einem Versuch, der den Zugriff auf Lösungsmaterial meldet, gibt es null Punkte.
• SWE-Atlas-QnA-AA überarbeitet die Bewertung der 124 Repository-Fragen und -Antworten von Scale AI: 127 von 1.306 Bewertungskriterien wurden umformuliert, und als Judge kommt nun GPT-6 Luna (xhigh) mit fünf Stimmen pro Kriterium zum Einsatz.
• Terminal-Bench 4.0 bleibt unverändert.
• Bei fast allen Konfigurationen, die in beiden Versionen bewertet wurden, sind die Werte niedriger: Der Durchschnitt sinkt von 54,8 auf 47,4, vor allem wegen FrontierCode (durchschnittlich 45,1 % gegenüber 65,6 % bei DeepSWE).

Ergebnisse:

• Index: Claude Code mit Claude Opus 5.5 (max) erzielt 61,7 und liegt damit vor Claude Code mit Claude Sonnet 5.5 (59,3), Muse Code mit Muse Wonder Full (58,9) und Claude Code mit Claude Fable 5.1 (57,6).
• FrontierCode: Opus 5.5 erzielt 56,0 %, gefolgt von Codex mit DeepSeek V4.1 Flash (52,6 %), Codex mit GPT-6.1 Sol (49,4 %) und Codex mit GPT-6 Astra (49,3 %). 15 der 24 Konfigurationen liegen zwischen 43 % und 49 %.
• SWE-Atlas-QnA-AA: Muse Code mit Muse Wonder Full führt mit 68,8 %, gefolgt von Claude Code mit Fable 5.1 (66,4 %) und Opus 5.5 (65,9 %).
• Kosten pro Aufgabe (Pay-per-Token-API-Kosten): Codex mit DeepSeek V4.1 Flash erzielt 47,3 bei 0,39 $, Codex mit GPT-6.1 Sol 54,1 bei 1,50 $, Codex mit GPT-6 Astra 54,7 bei 7,04 $ und Claude Code mit Opus 5.5 61,7 bei 11,42 $.