Artificial Analysis publie l’Intelligence Index v5, avec Claude Opus 5.5 en tête

Artificial Analysis a publié la version 5 de son Intelligence Index, un indice composite des capacités des modèles, avec deux nouveaux benchmarks et trois mises à niveau. Selon l’entreprise, pour la première fois, la majeure partie de l’indice repose sur des jeux de données privés. Elle a également lancé le Progress Index v1, qui place les modèles de langage publiés depuis novembre 2022 sur une même échelle de capacités.

Ce que rapporte le site de benchmarks (selon ses propres mesures) :

• Nouveautés : FrontierCode 2.0, le benchmark privé de codage de Cognition, composé de 132 tâches dans de véritables dépôts open source et évaluées selon la probabilité qu’un responsable de maintenance accepte la modification ; et Terminal-Bench-Science, où GPT-6 Astra (max) arrive en tête avec 63 %, suivi de Claude Opus 5.5 (max) à 59 %.
• Mises à niveau : HLE-Diamond remplace Humanity's Last Exam (Claude Opus 5.5 (max) arrive en tête avec 68 %, GPT-6 Astra (max) suit à 64 %), AA-Omniscience v1.1 est une version nettoyée de son test de connaissances et d’hallucinations, et CritPt v2 est évalué sur un sous-ensemble difficile privé de 40 questions.
• Pondérations : Knowledge Work 25 %, Coding 25 % (FrontierCode 2.0 15 %, Terminal-Bench 4.0 10 %), Science 25 %.
• Aucun modèle n’arrive en tête des neuf évaluations. Claude Opus 5.5 en mène trois, et cinq autres modèles se partagent les six restantes.
• Les modèles à poids ouverts accusent un retard plus important : le modèle en tête, Kimi K3.1 Pro (poids pas encore publiés), obtient 46 points, soit 12 points de moins que le premier, contre un écart de 3 points dans la v4.3. Parmi les modèles dont les poids ont été publiés, DeepSeek V4.1 Flash 1017 (max) et GLM-5.3 (max) obtiennent le meilleur score, à 32.
• Coût par tâche de l’indice : Claude Opus 5.5 (max) 10,04 $, GPT-6 Astra (max) 6,24 $, GPT-6.1 Sol (max) 1,27 $. Sol obtient un score à moins de 4 points de celui d’Opus 5.5, pour environ huit fois moins cher.
• Le niveau d’effort compte davantage : Opus 5.5 obtient 35 avec un faible niveau d’effort et 58 au niveau maximal, pour un coût par tâche multiplié par 10 (0,98 $ contre 10,04 $).
• Les modèles utilisent davantage de jetons en sortie par tâche que dans la v4.3 : la médiane est passée de 35 k à 59 k.

Un relais sur X indique que GPT-6.1 Terra (max) obtient 51 dans le nouvel indice.