Artificial Analysis lance un classement HLE-Diamond, la version affinée de Humanity's Last Exam

Artificial Analysis a lancé son classement HLE-Diamond, sa propre évaluation de la version affinée de Humanity's Last Exam, qui compte 1 000 questions, dans le cadre de la v5 de son Intelligence Index. CAIS et Scale AI ont publié HLE-Diamond après un an de nettoyage et d'affinage des questions.

Voici les mesures d'Artificial Analysis :

• HLE-Diamond classe chaque question comme relevant du raisonnement ou des connaissances. Les modèles qui dépassent 50 % obtiennent tous des scores supérieurs de 16 à 35 points aux questions de raisonnement par rapport à celles de connaissances. GPT-6.1 Sol (max) présente l'écart le plus important parmi les modèles en tête, avec 76 % en raisonnement et 41 % en connaissances.
• Les scores augmentent avec les réglages d'effort plus élevés, tout comme le coût. Claude Opus 5.5 gagne 26 points entre le niveau d'effort faible (42 %) et le niveau maximal (68 %), pour un coût par tâche environ 35 fois supérieur ; GPT-6 Astra gagne 19 points entre le niveau faible (45 %) et le niveau maximal (64 %), pour un coût par tâche 11 fois supérieur.

Les scores, l'utilisation de tokens et le coût par tâche de chaque modèle figurent dans le classement.