Artificial Analysis выпустила Coding Agent Index v2.1: Claude Fable 5.2 и Opus 5.5 делят первое место с результатом 58

Artificial Analysis выпустила версию 2.1 своего Coding Agent Index, который оценивает модели вместе с их агентскими оболочками. В ней FrontierCode обновлён с версии 1.1 до 2.0, а Terminal-Bench — с 4.0 до 4.1. Приведённые оценки рассчитаны самой Artificial Analysis.

Что изменилось:

• FrontierCode-AA 2.0 заменяет FrontierCode v1.1. Это реализация Artificial Analysis бенчмарка Cognition FrontierCode 2.0: 132 практические задачи по программированию, для которых оценивается, принял бы сопровождающий репозитория изменения агента.
• Terminal-Bench 4.1 заменяет версию 4.0: те же 66 задач, но с обновлёнными проверяющими модулями, которые, по словам Artificial Analysis, повышают надёжность и устойчивость к накрутке вознаграждения.
• SWE-Atlas-QnA-AA остаётся в Index.
• В версии 2.1 оценки снизились в среднем примерно на 5 баллов — главным образом из-за FrontierCode-AA 2.0. Единственная конфигурация, результат которой не упал, — Codex с GPT-6.1 Terra (max): оценка осталась в пределах 1 балла от прежней.

Результаты:

• Claude Fable 5.2 и Claude Opus 5.5 делят первое место с результатом 58. Fable 5.2 набирает 58 при настройках xhigh и high в Claude Code; Opus 5.5 (max) набирает 58 в Claude Code, а также в многомодельной оболочке Cognition Devin Fusion CLI в связке с GPT-6 Luna High.
• Fable 5.2 (max) набирает 56: больше его попыток упирается в ограничения по времени на выполнение задач. За ним следуют Claude Sonnet 5.5 (max, 56) в Claude Code и Gemini 4 Carbon (high, 55) в Antigravity CLI.
• Стоимость выполнения одной задачи у конфигураций с результатом 48 и выше различается примерно в 30 раз: от $1.51 у Codex с GPT-6.1 Sol (max, 52) до $44.22 у Claude Code с Fable 5.2 (max, 56).