Artificial Analysis, 정제된 Humanity's Last Exam의 HLE-Diamond 리더보드 출시

Artificial Analysis가 Intelligence Index v5의 일부로 HLE-Diamond 리더보드를 출시했습니다. 이는 정제된 1,000개 문항 버전의 Humanity's Last Exam을 자체 평가한 결과입니다. CAIS와 Scale AI는 1년에 걸쳐 문항을 정리하고 다듬은 뒤 HLE-Diamond를 공개했습니다.

다음은 Artificial Analysis가 직접 측정한 결과입니다.

• HLE-Diamond는 모든 문항을 추론 또는 지식으로 분류합니다. 50%를 넘긴 모델은 모두 지식 문항보다 추론 문항에서 16~35점 높은 점수를 받았습니다. 선두 모델 중 GPT-6.1 Sol (max)의 격차가 가장 커, 추론에서 76%, 지식에서 41%를 기록했습니다.
• 추론 강도를 높이면 점수도 오르지만 비용도 늘어납니다. Claude Opus 5.5는 추론 강도를 low(42%)에서 max(68%)로 높이면 26점 상승하며, 작업당 비용은 약 35배가 됩니다. GPT-6 Astra는 low(45%)에서 max(64%)로 높이면 19점 상승하며, 작업당 비용은 11배가 됩니다.

각 모델의 점수, 토큰 사용량, 작업당 비용은 리더보드에서 확인할 수 있습니다.