Artificial Analysis раскрывает подробности AA-Omniscience v1.1: набор данных стал меньше, появился новый публичный набор

Artificial Analysis опубликовала подробности AA-Omniscience v1.1 — своего бенчмарка знаний и галлюцинаций, обновлённого 27 октября в рамках версии 5 Intelligence Index. Итоговый балл бенчмарка поощряет правильные ответы, снижает оценку за неправильные и считает воздержание от ответа нейтральным.

Что изменилось, по данным Artificial Analysis:

• Закрытый набор сократился с 6 000 до 3 000 вопросов: из него удалили публичные и насыщенные вопросы, исправили ошибки и неоднозначности и добавили новые вопросы. Вопросы по-прежнему охватывают 6 областей и 42 темы.
• На Hugging Face появился новый публичный набор из 300 вопросов, сложность которого сопоставима со сложностью закрытого набора. Компания сообщает, что корреляция публичных и закрытых результатов по итоговому баллу составляет 0,99 (по Пирсону и Спирмену).

Собственные измерения компании:

• Лидирует Gemini 4 Carbon (high) с итоговым баллом 54, за ним идут Claude Opus 5.5 (48) и Claude Fable 5.1 (46). Среди моделей с открытыми весами лидирует Muse Spark Open (xhigh), отстающий от Gemini 4 Carbon на 28 пунктов.
• Порядок моделей в рейтинге в основном сохранился по сравнению с v1 (корреляция Спирмена — 0,98), однако средние результаты снизились примерно на 1,9 пункта. Результат MiniMax M3.1 Flash упал на 22 пункта (с 16 до -6), а MiMo V2.6 Pro — на 13 (с 8 до -5).
• У Claude Fable 5.1 самая высокая точность — 68%, опережает Claude Opus 5.5 с 66%. У Gemini 4 Argon (high) самая низкая доля галлюцинаций — 4%; медианная доля галлюцинаций снизилась на 1,4 пункта.