Artificial Analysis выпустила Coding Agent Index v2.0; Claude Code с Opus 5.5 лидирует с результатом 61,7

Artificial Analysis представила версию 2.0 своего Coding Agent Index: в нём модели вместе с их агентскими оболочками оцениваются на 290 задачах по разработке ПО, работе в терминале и ответам на вопросы о репозиториях с равными весами. Оценки выставлены самой Artificial Analysis и не прошли независимую проверку.

Что изменилось по сравнению с v1.5:

• FrontierCode v1.1 от Cognition заменяет DeepSWE v1.1. В набор входят 100 задач на реальных репозиториях с открытым исходным кодом и закрытым тестовым набором. Оценка зависит от того, принял бы мейнтейнер изменение; за попытку, отмеченную как обращение к материалам с решением, ставится ноль.
• SWE-Atlas-QnA-AA пересматривает оценивание 124 задач Scale AI с вопросами о репозиториях: формулировки 127 из 1 306 критериев рубрики изменены, а теперь в роли судьи выступает GPT-6 Luna (xhigh), с пятью голосами на каждый критерий.
• Terminal-Bench 4.0 не изменился.
• Почти у всех конфигураций, измеренных в обеих версиях, оценки снизились: среднее упало с 54,8 до 47,4, главным образом из-за FrontierCode (средний результат — 45,1% против 65,6% у DeepSWE).

Результаты:

• Индекс: Claude Code с Claude Opus 5.5 (max) набирает 61,7, опережая Claude Code с Claude Sonnet 5.5 (59,3), Muse Code с Muse Wonder Full (58,9) и Claude Code с Claude Fable 5.1 (57,6).
• FrontierCode: Opus 5.5 набирает 56,0%, за ним следуют Codex с DeepSeek V4.1 Flash (52,6%), Codex с GPT-6.1 Sol (49,4%) и Codex с GPT-6 Astra (49,3%). 15 из 24 конфигураций набирают от 43% до 49%.
• SWE-Atlas-QnA-AA: лидирует Muse Code с Muse Wonder Full — 68,8%, далее идут Claude Code с Fable 5.1 (66,4%) и Opus 5.5 (65,9%).
• Стоимость задачи (оплата API по токенам): Codex с DeepSeek V4.1 Flash набирает 47,3 при стоимости $0.39, Codex с GPT-6.1 Sol — 54,1 при $1.50, Codex с GPT-6 Astra — 54,7 при $7.04, а Claude Code с Opus 5.5 — 61,7 при $11.42.