Artificial Analysis veröffentlicht Coding Agent Index v2.1: Claude Fable 5.2 und Opus 5.5 teilen sich mit 58 Punkten die Spitzenposition

Artificial Analysis hat Version 2.1 seines Coding Agent Index veröffentlicht, der Modelle gemeinsam mit ihren Agent-Harnesses bewertet. FrontierCode wurde von 1.1 auf 2.0 und Terminal-Bench von 4.0 auf 4.1 aktualisiert. Die Bewertungen stammen von Artificial Analysis.

Was sich geändert hat:

• FrontierCode-AA 2.0 ersetzt FrontierCode v1.1. Es handelt sich um die Implementierung von Cognitions FrontierCode 2.0 durch Artificial Analysis: 132 Coding-Aufgaben aus der Praxis, bewertet danach, ob ein Repository-Maintainer die Änderung des Agents übernehmen würde.
• Terminal-Bench 4.1 ersetzt Version 4.0: dieselben 66 Aufgaben, aber mit aktualisierten Verifikatoren, die laut Artificial Analysis die Zuverlässigkeit erhöhen und Reward-Hacking erschweren.
• SWE-Atlas-QnA-AA bleibt im Index.
• Die Bewertungen fallen in v2.1 durchschnittlich um etwa 5 Punkte niedriger aus, vor allem aufgrund von FrontierCode-AA 2.0. Codex mit GPT-6.1 Terra (max) ist die einzige Konfiguration, deren Wert nicht gesunken ist; sie bleibt innerhalb eines Punkts ihrer vorherigen Bewertung.

Ergebnisse:

• Claude Fable 5.2 und Claude Opus 5.5 teilen sich mit 58 Punkten die Spitzenposition. Fable 5.2 erreicht in Claude Code sowohl bei xhigh als auch bei high 58 Punkte; Opus 5.5 (max) erzielt 58 Punkte in Claude Code und in Cognitions Multi-Modell-Harness Devin Fusion CLI, wo es mit GPT-6 Luna High kombiniert wird.
• Fable 5.2 (max) erreicht 56 Punkte, da mehr seiner Versuche an die Zeitlimits der Aufgaben stoßen. Es folgen Claude Sonnet 5.5 (max, 56) in Claude Code und Gemini 4 Carbon (high, 55) in Antigravity CLI.
• Die Kosten pro Aufgabe variieren bei Konfigurationen mit mindestens 48 Punkten um etwa den Faktor 30: von 1,51 $ für Codex mit GPT-6.1 Sol (max, 52) bis zu 44,22 $ für Claude Code mit Fable 5.2 (max, 56).