Artificial Analysis meluncurkan papan peringkat HLE-Diamond, versi Humanity's Last Exam yang telah disempurnakan

Artificial Analysis meluncurkan papan peringkat HLE-Diamond, evaluasi independennya terhadap versi Humanity's Last Exam yang telah disempurnakan dan terdiri dari 1.000 pertanyaan, sebagai bagian dari v5 Intelligence Index. CAIS dan Scale AI merilis HLE-Diamond setelah setahun membersihkan dan menyempurnakan pertanyaan-pertanyaannya.

Berikut pengukuran dari Artificial Analysis sendiri:

• HLE-Diamond mengategorikan setiap pertanyaan sebagai penalaran atau pengetahuan. Semua model dengan skor di atas 50% mendapat skor 16–35 poin lebih tinggi pada pertanyaan penalaran daripada pertanyaan pengetahuan. GPT-6.1 Sol (max) memiliki selisih terbesar di antara model-model teratas, dengan skor 76% untuk penalaran dan 41% untuk pengetahuan.
• Skor meningkat seiring pengaturan effort yang lebih tinggi, begitu pula biayanya. Claude Opus 5.5 naik 26 poin dari effort rendah (42%) ke max (68%), dengan biaya per tugas sekitar 35x lebih tinggi; GPT-6 Astra naik 19 poin dari rendah (45%) ke max (64%), dengan biaya per tugas 11x lebih tinggi.

Skor, penggunaan token, dan biaya per tugas untuk setiap model tersedia di papan peringkat.