Artificial Analysis menguraikan AA-Omniscience v1.1, dengan dataset yang lebih kecil dan set publik baru

Artificial Analysis menerbitkan detail AA-Omniscience v1.1, benchmark pengetahuan dan halusinasi yang diperbarui pada 27 Oktober sebagai bagian dari v5 Intelligence Index. Net Score benchmark ini memberi nilai untuk jawaban benar, mengurangi nilai untuk jawaban salah, dan memperlakukan abstain sebagai netral.

Perubahan menurut Artificial Analysis:

• Dataset privat menyusut dari 6.000 menjadi 3.000 pertanyaan: pertanyaan publik dan yang sudah jenuh dihapus, kesalahan dan ambiguitas diperbaiki, serta pertanyaan baru ditambahkan. Pertanyaan tersebut tetap mencakup 6 domain dan 42 topik.
• Set publik baru berisi 300 pertanyaan tersedia di Hugging Face, dengan tingkat kesulitan yang dikalibrasi agar setara dengan set privat. Artificial Analysis menyebut skor publik dan privat berkorelasi 0,99 (Pearson dan Spearman) untuk Net Score.

Pengukuran mereka sendiri:

• Gemini 4 Carbon (high) memimpin dengan Net Score 54, disusul Claude Opus 5.5 (48) dan Claude Fable 5.1 (46). Muse Spark Open (xhigh) menjadi model open-weights teratas, terpaut 28 poin dari Gemini 4 Carbon.
• Urutan peringkat sebagian besar tetap sama dibandingkan v1 (korelasi Spearman 0,98), tetapi skor rata-rata sekitar 1,9 poin lebih rendah. MiniMax M3.1 Flash turun 22 poin (dari 16 menjadi -6) dan MiMo V2.6 Pro turun 13 poin (dari 8 menjadi -5).
• Claude Fable 5.1 memiliki akurasi tertinggi sebesar 68%, di atas Claude Opus 5.5 yang mencapai 66%. Gemini 4 Argon (high) memiliki tingkat halusinasi terendah, 4%; median tingkat halusinasi turun 1,4 poin.