Artificial Analysis publikuje Coding Agent Index v2.0; Claude Code z Opus 5.5 na czele z wynikiem 61,7

Artificial Analysis uruchomiło wersję v2.0 swojego Coding Agent Index, który ocenia modele wraz z ich środowiskami agentowymi na 290 zadaniach z zakresu inżynierii oprogramowania, pracy w terminalu i pytań i odpowiedzi dotyczących repozytoriów, z równymi wagami. Wyniki pochodzą od Artificial Analysis i nie zostały niezależnie zweryfikowane.

Zmiany względem v1.5:

• FrontierCode v1.1 od Cognition zastępuje DeepSWE v1.1. Zawiera 100 zadań na rzeczywistych repozytoriach open source z prywatnym zestawem testowym; ocena uwzględnia to, czy opiekun projektu zaakceptowałby zmianę. Próba oznaczona jako uzyskanie dostępu do materiałów z rozwiązaniami otrzymuje zero punktów.
• SWE-Atlas-QnA-AA zmienia sposób oceniania 124 zadań Scale AI dotyczących pytań i odpowiedzi o repozytoria: 127 z 1 306 kryteriów rubryki zostało przeformułowanych, a do oceny służy teraz GPT-6 Luna (xhigh), z pięcioma głosami na kryterium.
• Terminal-Bench 4.0 pozostaje bez zmian.
• Wyniki są niższe dla niemal każdej konfiguracji ocenianej w obu wersjach: średnia spada z 54,8 do 47,4, głównie z powodu FrontierCode (średnio 45,1% wobec 65,6% w DeepSWE).

Wyniki:

• Indeks: Claude Code z Claude Opus 5.5 (max) uzyskuje 61,7, wyprzedzając Claude Code z Claude Sonnet 5.5 (59,3), Muse Code z Muse Wonder Full (58,9) i Claude Code z Claude Fable 5.1 (57,6).
• FrontierCode: Opus 5.5 uzyskuje 56,0%, a za nim plasują się Codex z DeepSeek V4.1 Flash (52,6%), Codex z GPT-6.1 Sol (49,4%) i Codex z GPT-6 Astra (49,3%). 15 z 24 konfiguracji uzyskuje od 43% do 49%.
• SWE-Atlas-QnA-AA: prowadzi Muse Code z Muse Wonder Full z wynikiem 68,8%, następnie Claude Code z Fable 5.1 (66,4%) i Opus 5.5 (65,9%).
• Koszt zadania (koszty API rozliczane za token): Codex z DeepSeek V4.1 Flash uzyskuje 47,3 przy koszcie 0,39 USD, Codex z GPT-6.1 Sol — 54,1 przy 1,50 USD, Codex z GPT-6 Astra — 54,7 przy 7,04 USD, a Claude Code z Opus 5.5 — 61,7 przy 11,42 USD.