Artificial Analysis запускает рейтинг HLE-Diamond — обновлённой версии Humanity's Last Exam

Artificial Analysis запустила рейтинг HLE-Diamond — собственную оценку обновлённой версии Humanity's Last Exam из 1 000 вопросов. Рейтинг вошёл в v5 её Intelligence Index. CAIS и Scale AI выпустили HLE-Diamond после года очистки и доработки вопросов.

Вот собственные результаты измерений Artificial Analysis:

• В HLE-Diamond каждый вопрос помечен как относящийся к рассуждениям или знаниям. Модели с результатом выше 50% набирают на вопросах на рассуждение на 16–35 пунктов больше, чем на вопросах на знания. У GPT-6.1 Sol (max) среди лидеров самый большой разрыв: 76% на вопросах на рассуждение и 41% на вопросах на знания.
• При повышении уровня усилий растут и результаты, и стоимость. Claude Opus 5.5 прибавляет 26 пунктов при переходе от низкого уровня усилий (42%) к максимальному (68%), при этом стоимость одной задачи увеличивается примерно в 35 раз; GPT-6 Astra прибавляет 19 пунктов при переходе от низкого уровня (45%) к максимальному (64%), а стоимость одной задачи растёт в 11 раз.

Результаты, расход токенов и стоимость одной задачи для каждой модели доступны в рейтинге.