Artificial Analysis, daha küçük bir veri kümesi ve yeni bir herkese açık set içeren AA-Omniscience v1.1’in ayrıntılarını paylaştı

Artificial Analysis, bilgi ve halüsinasyon kıyaslaması AA-Omniscience v1.1’in ayrıntılarını yayımladı. Kıyaslama, Intelligence Index’in v5 sürümünün parçası olarak 27 Ekim’de güncellendi. Net Score, doğru yanıtları ödüllendiriyor, yanlış yanıtları cezalandırıyor ve yanıt vermekten kaçınmayı nötr kabul ediyor.

Artificial Analysis’e göre değişiklikler:

• Özel veri kümesi 6.000 sorudan 3.000 soruya indirildi: herkese açık ve doygunluğa ulaşmış sorular çıkarıldı, hatalar ve belirsizlikler düzeltildi, yeni sorular eklendi. Sorular yine 6 alanı ve 42 konuyu kapsıyor.
• Özel setin zorluk düzeyine göre ayarlanmış, 300 soruluk yeni bir herkese açık set Hugging Face’te yayımlandı. Net Score için herkese açık ve özel set puanlarının korelasyonunun 0,99 olduğunu (Pearson ve Spearman) belirtiyor.

Kendi ölçümleri:

• Gemini 4 Carbon (high), 54 Net Score ile zirvede; onu Claude Opus 5.5 (48) ve Claude Fable 5.1 (46) izliyor. Açık ağırlıklı modeller arasında lider olan Muse Spark Open (xhigh), Gemini 4 Carbon’ın 28 puan gerisinde.
• v1’e kıyasla sıralama büyük ölçüde korunuyor (Spearman korelasyonu 0,98), ancak puanlar ortalama yaklaşık 1,9 puan daha düşük. MiniMax M3.1 Flash 22 puan (16’dan -6’ya), MiMo V2.6 Pro ise 13 puan (8’den -5’e) düşüyor.
• En yüksek doğruluk oranı %68 ile Claude Fable 5.1’de; Claude Opus 5.5’in oranı %66. Gemini 4 Argon (high), %4 ile en düşük halüsinasyon oranına sahip; medyan halüsinasyon oranı 1,4 puan düşüyor.