Artificial Analysis startet eine Rangliste für HLE-Diamond, die überarbeitete Version von Humanity's Last Exam

Artificial Analysis hat seine HLE-Diamond-Rangliste gestartet – eine eigene Auswertung der überarbeiteten Version von Humanity's Last Exam mit 1.000 Fragen. Sie ist Teil der Version 5 des Intelligence Index. CAIS und Scale AI haben HLE-Diamond nach einem Jahr der Bereinigung und Überarbeitung der Fragen veröffentlicht.

Dies sind die eigenen Messungen von Artificial Analysis:

• HLE-Diamond kennzeichnet jede Frage als Denk- oder Wissensfrage. Modelle mit mehr als 50 % erzielen bei Denkfragen durchweg 16–35 Punkte mehr als bei Wissensfragen. GPT-6.1 Sol (max) weist unter den führenden Modellen den größten Abstand auf: 76 % bei Denkfragen und 41 % bei Wissensfragen.
• Mit höheren Effort-Einstellungen steigen die Ergebnisse – ebenso die Kosten. Claude Opus 5.5 legt bei einer Steigerung von niedrigem Effort (42 %) auf maximalen Effort (68 %) um 26 Punkte zu; die Kosten pro Aufgabe steigen dabei auf etwa das 35-Fache. GPT-6 Astra legt bei einer Steigerung von niedrigem Effort (45 %) auf maximalen Effort (64 %) um 19 Punkte zu; die Kosten pro Aufgabe steigen auf das 11-Fache.

Ergebnisse, Tokenverbrauch und Kosten pro Aufgabe für jedes Modell sind in der Rangliste aufgeführt.