SemiAnalysis, en iyi modelin %12 puan aldığı ajan yetenekleri benchmark’ı GDPx’i yayımladı

SemiAnalysis, çip tasarımı, siber güvenlik ve biyoloji gibi en değerli olduğunu düşündüğü alanlardaki ajan yeteneklerini ölçen GDPx benchmark’ını yayımladı. Şirket, en iyi modelin bile yalnızca %12 puan aldığını söylüyor. Sonuçları aktaran bir paylaşımda Claude Opus 5.5’in %12,0 ile ilk sırada, yakında çıkacak Gemini 4 Carbon’un ise %10,9’da olduğu bildiriliyor; bu, sonuçları aktaran kişinin yorumudur, SemiAnalysis’in kendi açıklaması değil.

• Alan seçimi: SemiAnalysis, yapay zekâ gelirlerinin ilk trilyon dolarının, öncü düzeyde zekâyı yüksek getiriyle kullanabilecek sektörlerde yoğunlaşacağını savunuyor. Bu nedenle GSYİH payına veya meslek sınıflandırmasına göre ağırlıklandırılan benchmark’ları tercih etmiyor. Devlet, gayrimenkul ve sigorta gibi alanlar yerine çip tasarımı, siber güvenlik ve biyolojiyi kapsıyor.
• Güvenlik sınıflandırıcıları: SemiAnalysis, Opus 5.5 ve GPT-6 Astra’nın genel puanlarının daha düşük olduğunu, çünkü güvenlik sınıflandırıcılarının siber güvenlik, biyoloji ve hizalama görevlerinde bazen devreye girdiğini söylüyor. Bu üç alan hariç tutulduğunda farklı bir sıralama ortaya çıkıyor; şirket bunun modeller hakkındaki öznel izlenimiyle örtüştüğünü belirtiyor. Muse Wonder Full’ı bugün mevcut en iyi siber güvenlik modeli olarak nitelendiriyor ve aradaki farkın kayda değer olduğunu söylüyor.
• Nasıl oluşturuldu: Her alan, en az bir uzmanlaşmış veri ortağıyla hazırlandı; son kalite kontrollerini ve görev yinelemelerini SemiAnalysis gerçekleştirdi. Fireworks açık kaynaklı modeller için çıkarım altyapısı, Modal ise sandbox altyapısı sağladı.

Duyuru dizisi 1 Kasım itibarıyla X’te 262 puan aldı. Sonuçlar SemiAnalysis’e ait olup bağımsız olarak doğrulanmadı.