Artificial Analysis выпускает Intelligence Index v5: Claude Opus 5.5 занимает первое место

Artificial Analysis опубликовала версию 5 своего Intelligence Index — сводного показателя возможностей моделей — с двумя новыми бенчмарками и тремя обновлениями. Компания заявляет, что впервые большая часть индекса основана на закрытых наборах данных. Также был запущен Progress Index v1, который размещает языковые модели, выпущенные с ноября 2022 года, на единой шкале возможностей.

Что сообщает сайт бенчмарков (по результатам собственных измерений):

• Новые: FrontierCode 2.0 — закрытый бенчмарк Cognition для программирования, включающий 132 задачи в реальных репозиториях с открытым исходным кодом; оценивается, принял бы сопровождающий репозитория изменение или нет. В Terminal-Bench-Science лидирует GPT-6 Astra (max) с результатом 63%, за ним следует Claude Opus 5.5 (max) с 59%.
• Обновлённые: HLE-Diamond заменяет Humanity's Last Exam (лидирует Claude Opus 5.5 (max) с результатом 68%, GPT-6 Astra (max) набирает 64%); AA-Omniscience v1.1 — очищенная версия теста знаний и галлюцинаций; CritPt v2 оценивается на закрытой сложной выборке из 40 вопросов.
• Веса: Knowledge Work — 25%, Coding — 25% (FrontierCode 2.0 — 15%, Terminal-Bench 4.0 — 10%), Science — 25%.
• Ни одна модель не лидирует во всех девяти оценках. Claude Opus 5.5 лидирует в трёх, а ещё пять моделей занимают первые места в оставшихся шести.
• Модели с открытыми весами отстают ещё сильнее: лидер, Kimi K3.1 Pro (веса пока не выпущены), набирает 46 баллов — на 12 меньше лидера; в v4.3 разрыв составлял 3 балла. Среди моделей с выпущенными весами лучшие результаты — по 32 балла — у DeepSeek V4.1 Flash 1017 (max) и GLM-5.3 (max).
• Стоимость одной задачи индекса: Claude Opus 5.5 (max) — $10.04, GPT-6 Astra (max) — $6.24, GPT-6.1 Sol (max) — $1.27. Результат Sol всего на 4 балла ниже, чем у Opus 5.5, при стоимости примерно в восемь раз меньше.
• Уровень усилий имеет большее значение: Opus 5.5 набирает 35 баллов при низком уровне усилий и 58 — при максимальном, при этом стоимость одной задачи возрастает в 10 раз ($0.98 против $10.04).
• Модели используют больше выходных токенов на задачу, чем в v4.3: медиана выросла с 35k до 59k.

Репост на X сообщает, что GPT-6.1 Terra (max) набрал 51 балл в новом индексе.