Artificial Analysis brengt Intelligence Index v5 uit, met Claude Opus 5.5 bovenaan

Artificial Analysis heeft versie 5 van zijn Intelligence Index gepubliceerd, een samengestelde score voor modelcapaciteiten, met twee nieuwe benchmarks en drie upgrades. Volgens het bedrijf is de index voor het eerst grotendeels gebaseerd op privégegevenssets. Ook lanceerde het Progress Index v1, dat taalmodellen die sinds november 2022 zijn uitgebracht op één capaciteitschaal plaatst.

Wat de benchmarksite rapporteert (op basis van eigen metingen):

• Nieuw: FrontierCode 2.0, Cognitions privébenchmark voor codeertaken met 132 opdrachten in echte open-sourcerepositories, beoordeeld op de vraag of een maintainer de wijziging zou samenvoegen; en Terminal-Bench-Science, waar GPT-6 Astra (max) met 63% vooropgaat, gevolgd door Claude Opus 5.5 (max) met 59%.
• Geüpgraded: HLE-Diamond vervangt Humanity's Last Exam (Claude Opus 5.5 (max) staat bovenaan met 68%, GPT-6 Astra (max) haalt 64%), AA-Omniscience v1.1 is een opgeschoonde versie van de kennis- en hallucinatiebenchmark, en CritPt v2 wordt beoordeeld op een privéselectie van 40 moeilijke vragen.
• Wegingen: Knowledge Work 25%, Coding 25% (FrontierCode 2.0 15%, Terminal-Bench 4.0 10%), Science 25%.
• Geen enkel model staat bovenaan bij alle negen evaluaties. Claude Opus 5.5 leidt bij drie; vijf andere modellen leiden bij de overige zes.
• Modellen met open gewichten lopen verder achter: de koploper, Kimi K3.1 Pro (gewichten nog niet uitgebracht), scoort 46, 12 punten achter de top, tegenover een verschil van 3 punten in v4.3. Van de modellen waarvan de gewichten zijn uitgebracht, scoren DeepSeek V4.1 Flash 1017 (max) en GLM-5.3 (max) het hoogst, met 32.
• Kosten per indextaak: Claude Opus 5.5 (max) $10.04, GPT-6 Astra (max) $6.24, GPT-6.1 Sol (max) $1.27. Sol scoort binnen 4 punten van Opus 5.5 voor ongeveer een achtste van de kosten.
• De inspanningsinstelling maakt meer verschil: Opus 5.5 scoort 35 bij lage inspanning en 58 op max, bij 10 keer zo hoge kosten per taak ($0.98 tegenover $10.04).
• Modellen gebruiken per taak meer outputtokens dan in v4.3: de mediaan steeg van 35k naar 59k.

Een repost op X meldt dat GPT-6.1 Terra (max) 51 punten haalt op de nieuwe index.