Google DeepMind, görsel açıdan karmaşık dosyalar üzerinde çalışan ajanlar için bir kıyaslama testi olan MKA’yı kullanıma sunuyor

Artificial Analysis, Google DeepMind ile birlikte Multimodal Knowledge Agent (MKA) değerlendirmesini geliştirdiğini duyurdu. Bu yeni kıyaslama testi; mühendislik şemaları, mimari çizimler ve klinik taramalar gibi görsel açıdan karmaşık proje dosyaları üzerinde ajan tabanlı bilgi çalışmalarını değerlendiriyor. Ajanların bu dosyalardan yararlanarak sunumlar, elektronik tablolar, raporlar ve işaretlenmiş görseller üretmesi gerekiyor. Görevler 10 farklı sektörü kapsıyor ve 10 görevden oluşan herkese açık bir set mevcut.

Artificial Analysis’ın bildirdiğine göre, hiçbir model tüm sektörlerde öne çıkmıyor. Claude Fable 5.2 bunların beşinde (Yazılım ve Veri, Mühendislik, Lojistik ve Haritalama, İş Dünyası ve Finans; sonuncusunda Claude Sonnet ile birlikte) lider durumda. Ayrıca altı çıktı dosyası türünün dördünde (PDF, Word, az farkla Elektronik Tablo ve Claude Opus 5.5 (max) ile birlikte Sunum) öne çıkıyor.

Bir örnek görevde, Gemini 4 Carbon (high) yaklaşık 8 dolara, 76 turda ve yaklaşık bir saatte tamamladı. Claude Fable 5.2 (max) ise yaklaşık 68 dolara, 224 turda ve yaklaşık üç saatte tamamladı. Fable 5.2’nin sunumu daha yüksek puan aldı (%87’ye karşı %72). Değerlendirme ölçütleri “Tırmanış” (daha zor; sınır modellerin hâlâ sıklıkla başarısız olduğu görevler) ve “Regresyon” (temel yeterlilik) olarak ikiye ayrılıyor. Regresyon bölümünde ilk yedi modelin tümü %95 ile %97 arasında puan alıyor.

Bunlar Artificial Analysis’ın kendi verileri; Google DeepMind da kıyaslama testi için kendi lansman blog yazısını yayımladı.