Artificial Analysis lanceert een leaderboard voor HLE-Diamond, de verfijnde versie van Humanity's Last Exam

Artificial Analysis heeft zijn HLE-Diamond-leaderboard gelanceerd: een eigen evaluatie van de verfijnde versie van Humanity's Last Exam met 1.000 vragen, als onderdeel van versie 5 van zijn Intelligence Index. CAIS en Scale AI brachten HLE-Diamond uit na een jaar lang de vragen op te schonen en te verfijnen.

Dit zijn de eigen metingen van Artificial Analysis:

• Bij HLE-Diamond wordt elke vraag ingedeeld als redeneren of kennis. Modellen die boven de 50% scoren, behalen op redeneervragen allemaal 16–35 punten meer dan op kennisvragen. GPT-6.1 Sol (max) heeft van de koplopers het grootste verschil: 76% op redeneren en 41% op kennis.
• De scores stijgen bij hogere inspanningsinstellingen, maar de kosten ook. Claude Opus 5.5 wint 26 punten bij de overgang van lage inspanning (42%) naar maximaal (68%), tegen ongeveer 35 keer de kosten per taak; GPT-6 Astra wint 19 punten bij de overgang van laag (45%) naar maximaal (64%), tegen 11 keer de kosten per taak.

Scores, tokenverbruik en kosten per taak voor elk model staan op het leaderboard.