Artificial Analysis lancia una classifica per HLE-Diamond, la versione perfezionata di Humanity's Last Exam

Artificial Analysis ha lanciato la classifica HLE-Diamond, la propria valutazione della versione perfezionata di Humanity's Last Exam, composta da 1.000 domande, nell'ambito della v5 del suo Intelligence Index. CAIS e Scale AI hanno pubblicato HLE-Diamond dopo un anno dedicato alla revisione e al perfezionamento delle domande.

Queste sono le misurazioni di Artificial Analysis:

• HLE-Diamond classifica ogni domanda come ragionamento o conoscenza. I modelli che superano il 50% ottengono tutti punteggi superiori di 16–35 punti nelle domande di ragionamento rispetto a quelle di conoscenza. GPT-6.1 Sol (max) presenta il divario più ampio tra i modelli ai primi posti, con il 76% nel ragionamento e il 41% nella conoscenza.
• I punteggi aumentano con impostazioni di effort più elevate, così come i costi. Claude Opus 5.5 guadagna 26 punti passando da effort basso (42%) a max (68%), con un costo per attività circa 35 volte superiore; GPT-6 Astra guadagna 19 punti passando da basso (45%) a max (64%), con un costo per attività 11 volte superiore.

La classifica riporta i punteggi, l'uso di token e il costo per attività di ciascun modello.