Artificial Analysis publikuje Coding Agent Index v2.1: Claude Fable 5.2 i Opus 5.5 dzielą pierwsze miejsce z wynikiem 58

Artificial Analysis opublikowało wersję v2.1 swojego Coding Agent Index, który ocenia modele wraz z ich środowiskami agentowymi (harnessami). W aktualizacji podniesiono wersję FrontierCode z 1.1 do 2.0, a Terminal-Bench z 4.0 do 4.1. Wyniki są własnymi ocenami Artificial Analysis.

Co się zmieniło:

• FrontierCode-AA 2.0 zastępuje FrontierCode v1.1. To implementacja FrontierCode 2.0 firmy Cognition przygotowana przez Artificial Analysis: 132 zadania programistyczne z rzeczywistego świata, oceniane pod kątem tego, czy opiekun repozytorium zaakceptowałby zmiany agenta.
• Terminal-Bench 4.1 zastępuje wersję 4.0: obejmuje te same 66 zadań, ale z ulepszonymi weryfikatorami, które — jak twierdzi Artificial Analysis — zwiększają niezawodność i odporność na manipulowanie wynikami.
• SWE-Atlas-QnA-AA pozostaje w Index.
• Wyniki w v2.1 są niższe średnio o około 5 punktów, głównie za sprawą FrontierCode-AA 2.0. Jedyną konfiguracją, której wynik nie spadł, jest Codex z GPT-6.1 Terra (max); utrzymał się w granicach 1 punktu od wcześniejszego wyniku.

Wyniki:

• Claude Fable 5.2 i Claude Opus 5.5 dzielą pierwsze miejsce z wynikiem 58. Fable 5.2 osiąga 58 zarówno przy xhigh, jak i high w Claude Code; Opus 5.5 (max) uzyskuje 58 w Claude Code oraz — w połączeniu z GPT-6 Luna High — w wielomodelowym środowisku agentowym Devin Fusion CLI firmy Cognition.
• Fable 5.2 (max) uzyskuje 56, ponieważ więcej jego prób osiąga limity czasu na wykonanie zadań. Kolejne miejsca zajmują Claude Sonnet 5.5 (max, 56) w Claude Code i Gemini 4 Carbon (high, 55) w Antigravity CLI.
• Koszt zadania różni się około 30-krotnie między konfiguracjami z wynikiem 48 lub wyższym: od 1,51 USD w przypadku Codex z GPT-6.1 Sol (max, 52) do 44,22 USD w przypadku Claude Code z Fable 5.2 (max, 56).