Artificial Analysis merilis Intelligence Index v5, dengan Claude Opus 5.5 di posisi teratas

Artificial Analysis menerbitkan Intelligence Index versi 5, sebuah gabungan pengukuran kemampuan model, dengan dua benchmark baru dan tiga peningkatan. Mereka mengatakan, untuk pertama kalinya, sebagian besar indeks ini disusun berdasarkan dataset privat. Mereka juga meluncurkan Progress Index v1 yang menempatkan model bahasa yang dirilis sejak November 2022 pada satu skala kemampuan.

Laporan situs benchmark tersebut (berdasarkan pengukurannya sendiri):

• Baru: FrontierCode 2.0, benchmark coding privat milik Cognition yang terdiri dari 132 tugas di repositori open-source sungguhan, dinilai berdasarkan apakah maintainer akan menerima perubahan tersebut; dan Terminal-Bench-Science, yang dipimpin GPT-6 Astra (max) dengan 63%, diikuti Claude Opus 5.5 (max) dengan 59%.
• Ditingkatkan: HLE-Diamond menggantikan Humanity's Last Exam (Claude Opus 5.5 (max) memimpin dengan 68%, GPT-6 Astra (max) 64%), AA-Omniscience v1.1 merupakan versi yang telah dibersihkan dari tes pengetahuan dan halusinasinya, dan CritPt v2 dinilai berdasarkan subset privat berisi 40 soal sulit.
• Bobot: Knowledge Work 25%, Coding 25% (FrontierCode 2.0 15%, Terminal-Bench 4.0 10%), Science 25%.
• Tidak ada satu model pun yang memimpin di kesembilan evaluasi. Claude Opus 5.5 memimpin tiga evaluasi, sementara lima model lain memimpin enam evaluasi sisanya.
• Model open-weight makin tertinggal: pemimpinnya, Kimi K3.1 Pro (bobot modelnya belum dirilis), meraih skor 46, tertinggal 12 poin dari posisi teratas, dibandingkan selisih 3 poin di v4.3. Di antara model yang bobotnya sudah dirilis, DeepSeek V4.1 Flash 1017 (max) dan GLM-5.3 (max) meraih skor tertinggi, yaitu 32.
• Biaya per tugas indeks: Claude Opus 5.5 (max) $10.04, GPT-6 Astra (max) $6.24, GPT-6.1 Sol (max) $1.27. Skor Sol terpaut 4 poin dari Opus 5.5 dengan biaya sekitar seperdelapan.
• Tingkat upaya lebih berpengaruh: Opus 5.5 meraih skor 35 pada tingkat upaya rendah dan 58 pada tingkat maksimal, dengan biaya per tugas 10 kali lipat ($0.98 dibandingkan $10.04).
• Model menggunakan lebih banyak token output per tugas dibandingkan v4.3: median meningkat dari 35k menjadi 59k.

Sebuah akun relay di X melaporkan GPT-6.1 Terra (max) meraih skor 51 pada indeks baru tersebut.