Artificial Analysis publikuje Intelligence Index v5, na czele Claude Opus 5.5

Artificial Analysis opublikowało wersję 5 swojego Intelligence Index — złożonego wskaźnika możliwości modeli — z dwoma nowymi benchmarkami i trzema aktualizacjami. Według firmy po raz pierwszy większość indeksu opiera się na prywatnych zbiorach danych. Uruchomiła też Progress Index v1, który umieszcza modele językowe wydane od listopada 2022 r. na jednej skali możliwości.

Co podaje serwis benchmarkowy (na podstawie własnych pomiarów):

• Nowości: FrontierCode 2.0, prywatny benchmark programistyczny Cognition obejmujący 132 zadania w rzeczywistych repozytoriach open source, oceniane pod kątem tego, czy opiekun projektu zaakceptowałby zmianę; oraz Terminal-Bench-Science, w którym GPT-6 Astra (max) prowadzi z wynikiem 63%, a za nim plasuje się Claude Opus 5.5 (max) z wynikiem 59%.
• Aktualizacje: HLE-Diamond zastępuje Humanity's Last Exam (Claude Opus 5.5 (max) prowadzi z wynikiem 68%, a GPT-6 Astra (max) uzyskuje 64%), AA-Omniscience v1.1 to oczyszczona wersja testu wiedzy i halucynacji, a CritPt v2 jest oceniany na podstawie prywatnego, trudnego zestawu 40 pytań.
• Wagi: praca oparta na wiedzy 25%, programowanie 25% (FrontierCode 2.0 15%, Terminal-Bench 4.0 10%), nauka 25%.
• Żaden model nie prowadzi we wszystkich dziewięciu ewaluacjach. Claude Opus 5.5 prowadzi w trzech, a pozostałe sześć przypada pięciu innym modelom.
• Modele open weights zostają w tyle jeszcze bardziej: lider, Kimi K3.1 Pro (wagi nie zostały jeszcze udostępnione), uzyskuje 46 punktów, czyli o 12 mniej niż czołówka; w v4.3 różnica wynosiła 3 punkty. Wśród modeli z udostępnionymi wagami najwyższy wynik, 32, osiągają DeepSeek V4.1 Flash 1017 (max) i GLM-5.3 (max).
• Koszt jednego zadania indeksu: Claude Opus 5.5 (max) — $10.04, GPT-6 Astra (max) — $6.24, GPT-6.1 Sol (max) — $1.27. Sol uzyskuje wynik w odległości 4 punktów od Opus 5.5, kosztując około jednej ósmej jego ceny.
• Poziom wysiłku ma większe znaczenie: Opus 5.5 uzyskuje 35 punktów przy niskim poziomie wysiłku i 58 przy maksymalnym, przy 10-krotnie wyższym koszcie zadania ($0.98 wobec $10.04).
• Modele zużywają więcej tokenów wyjściowych na zadanie niż w v4.3: mediana wzrosła z 35 tys. do 59 tys.

Repost na X podaje, że GPT-6.1 Terra (max) uzyskuje 51 punktów w nowym indeksie.