Artificial Analysis pubblica Intelligence Index v5, con Claude Opus 5.5 in testa

Artificial Analysis ha pubblicato la versione 5 del suo Intelligence Index, una valutazione composita delle capacità dei modelli, con due nuovi benchmark e tre aggiornamenti. Afferma che, per la prima volta, la maggior parte dell’indice si basa su dataset privati. Ha inoltre lanciato Progress Index v1, che colloca i modelli linguistici rilasciati da novembre 2022 su un’unica scala di capacità.

I risultati riportati dal sito del benchmark (misurazioni proprie):

• Nuovi: FrontierCode 2.0, il benchmark privato di Cognition per la programmazione, con 132 attività in veri repository open source, valutate in base alla probabilità che un maintainer accetti la modifica; e Terminal-Bench-Science, in cui GPT-6 Astra (max) è in testa con il 63%, seguito da Claude Opus 5.5 (max) al 59%.
• Aggiornati: HLE-Diamond sostituisce Humanity's Last Exam (Claude Opus 5.5 (max) è in testa con il 68%, GPT-6 Astra (max) è al 64%), AA-Omniscience v1.1 è una versione ripulita del test di conoscenza e allucinazioni, e CritPt v2 viene valutato su un sottoinsieme privato di 40 domande difficili.
• Ponderazioni: Knowledge Work 25%, Coding 25% (FrontierCode 2.0 15%, Terminal-Bench 4.0 10%), Science 25%.
• Nessun singolo modello è in testa in tutte e nove le valutazioni. Claude Opus 5.5 è in testa in tre, mentre cinque altri modelli guidano nelle restanti sei.
• I modelli open-weight restano più indietro: il leader, Kimi K3.1 Pro (i pesi non sono ancora stati rilasciati), ottiene 46 punti, 12 in meno rispetto al migliore, contro un divario di 3 punti in v4.3. Tra i modelli con pesi rilasciati, DeepSeek V4.1 Flash 1017 (max) e GLM-5.3 (max) ottengono il punteggio più alto, 32.
• Costo per attività dell’indice: Claude Opus 5.5 (max) $10.04, GPT-6 Astra (max) $6.24, GPT-6.1 Sol (max) $1.27. Sol ottiene un punteggio entro 4 punti da Opus 5.5 a circa un ottavo del costo.
• Lo sforzo conta di più: Opus 5.5 ottiene 35 con effort basso e 58 al massimo, con un costo per attività 10 volte superiore ($0.98 contro $10.04).
• I modelli usano più token in output per attività rispetto a v4.3: la mediana è salita da 35k a 59k.

Un repost su X riporta che GPT-6.1 Terra (max) ha ottenuto 51 nel nuovo indice.