Artificial Analysis, Intelligence Index v5’i yayımladı; Claude Opus 5.5 zirvede

Artificial Analysis, modellerin yeteneklerini birleştiren Intelligence Index’in 5. sürümünü yayımladı; iki yeni kıyaslama testi ve üç güncelleme ekledi. Şirket, endeksin çoğunluğunun ilk kez özel veri kümeleri üzerine kurulduğunu söylüyor. Ayrıca, Kasım 2022’den bu yana yayımlanan dil modellerini tek bir yetenek ölçeğinde sıralayan Progress Index v1’i de kullanıma sundu.

Kıyaslama sitesinin aktardıkları (kendi ölçümleri):

• Yeni: Cognition’ın, gerçek açık kaynak depolarındaki 132 görevi kapsayan özel kodlama kıyaslaması FrontierCode 2.0; değişikliğin bir bakım sorumlusu tarafından kabul edilip edilmeyeceğine göre puanlanıyor. Terminal-Bench-Science’ta ise GPT-6 Astra (max) %63 ile lider, Claude Opus 5.5 (max) %59 ile onu izliyor.
• Güncellenenler: HLE-Diamond, Humanity's Last Exam’in yerini alıyor (Claude Opus 5.5 (max) %68 ile, GPT-6 Astra (max) ise %64 ile önde); AA-Omniscience v1.1, bilgi ve halüsinasyon testinin temizlenmiş sürümü; CritPt v2 ise özel, 40 soruluk zorlu bir alt küme üzerinden puanlanıyor.
• Ağırlıklar: Bilgi İşleri %25, Kodlama %25 (FrontierCode 2.0 %15, Terminal-Bench 4.0 %10), Bilim %25.
• Dokuz değerlendirmenin tamamında lider olan tek bir model yok. Claude Opus 5.5 üçünde, diğer beş model ise kalan altısında lider.
• Açık ağırlıklı modellerin gerisi daha da açılıyor: lider Kimi K3.1 Pro (ağırlıkları henüz yayımlanmadı) 46 puan alıyor; zirvenin 12 puan gerisinde. v4.3’te fark 3 puandı. Ağırlıkları yayımlanmış modeller arasında DeepSeek V4.1 Flash 1017 (max) ve GLM-5.3 (max), 32 puanla en yüksek skoru alıyor.
• Endeks görevi başına maliyet: Claude Opus 5.5 (max) $10.04, GPT-6 Astra (max) $6.24, GPT-6.1 Sol (max) $1.27. Sol, yaklaşık sekizde bir maliyetle Opus 5.5’in 4 puan yakınına ulaşıyor.
• Çaba düzeyi daha önemli: Opus 5.5 düşük çaba düzeyinde 35, maksimumda 58 puan alıyor; görev başına maliyeti de 10 katına çıkıyor ($0.98’e karşı $10.04).
• Modeller görev başına v4.3’e göre daha fazla çıktı token’ı kullanıyor: medyan 35 binden 59 bine yükseldi.

X’teki bir paylaşımda GPT-6.1 Terra’nın (max) yeni endekste 51 puan aldığı bildiriliyor.