Artificial Analysis przedstawia szczegóły AA-Omniscience v1.1 z mniejszym zbiorem danych i nowym publicznym zestawem

Artificial Analysis opublikowało szczegóły AA-Omniscience v1.1, swojego benchmarku wiedzy i halucynacji, zaktualizowanego 27 października w ramach wersji v5 Intelligence Index. Net Score benchmarku nagradza poprawne odpowiedzi, obniża wynik za błędne i traktuje powstrzymanie się od odpowiedzi jako neutralne.

Co się zmieniło — według Artificial Analysis:

• Prywatny zbiór danych zmniejszono z 6 000 do 3 000 pytań: usunięto pytania publiczne i nasycone, poprawiono błędy i niejasności oraz dodano nowe pytania. Pytania nadal obejmują 6 domen i 42 tematy.
• Nowy publiczny zestaw 300 pytań jest dostępny na Hugging Face i został skalibrowany pod względem trudności do prywatnego zestawu. Firma podaje, że korelacja między wynikami publicznymi i prywatnymi dla Net Score wynosi 0,99 (Pearsona i Spearmana).

Własne pomiary firmy:

• Gemini 4 Carbon (high) prowadzi z Net Score wynoszącym 54, przed Claude Opus 5.5 (48) i Claude Fable 5.1 (46). Muse Spark Open (xhigh) to najwyżej oceniany model z otwartymi wagami, z wynikiem o 28 punktów niższym niż Gemini 4 Carbon.
• Kolejność modeli w rankingu w dużej mierze utrzymuje się względem v1 (korelacja Spearmana 0,98), ale średnie wyniki są niższe o około 1,9 punktu. Wynik MiniMax M3.1 Flash spada o 22 punkty (z 16 do -6), a MiMo V2.6 Pro o 13 punktów (z 8 do -5).
• Claude Fable 5.1 ma najwyższą dokładność — 68%, przed Claude Opus 5.5 z wynikiem 66%. Gemini 4 Argon (high) ma najniższy wskaźnik halucynacji — 4%; mediana tego wskaźnika spada o 1,4 punktu.