Artificial Analysis, en üst sırada %64 ile Gemini 4 Carbon'ın yer aldığı yaşam bilimleri görsel akıl yürütme sıralama tablosu VIALS-AA'yı kullanıma sunuyor

Artificial Analysis, Handshake AI'ın VIALS benchmark'ı için bir sıralama tablosu olan VIALS-AA'yı kullanıma sundu. VIALS, sekiz alanda 161 görev içeriyor. Bu görevlerde modelin bilimsel bir görseli (jel blotları, akış sitometrisi grafikleri, plazmit haritaları, filogenetik ağaçlar) okuyup belirli bir sonuca varması gerekiyor.

Artificial Analysis, her görevi açık kaynaklı Stirrup ajan altyapısında üç kez çalıştırıyor; altyapı kod yürütme ve görsel inceleme araçları sunuyor. GPT-6 Luna (medium), her yanıtı referans yanıtla karşılaştırarak değerlendiriyor; puan, üç çalıştırmanın tamamında doğru kabul edilen görevlerin oranı olarak hesaplanıyor.

Artificial Analysis'e göre:

• En yüksek puanlar: Gemini 4 Carbon (high) %64 ile önde; onu %63 ile GPT-6 Astra (max) ve %61 ile Claude Opus 5.5 (max with fallback) izliyor.
• Maliyet: GPT-6 Astra ve GPT-6.1 Sol (ikisi de max), görev başına yaklaşık 8 tur kullanıyor. Claude Opus 5.5 yaklaşık 27, Claude Sonnet 5.5 ise yaklaşık 25 tur kullanıyor. Opus 5.5'in görev başına ortalama maliyeti 1,64 dolar; bu, Sol'un yaklaşık 0,056 dolarlık maliyetinin yaklaşık 29 katı.
• Açık ağırlıklar: Kimi K3.1 Pro, %45 ile lider; %43 alan MiMo-V2.6-Pro'nun az farkla önünde ve en yüksek puanın yaklaşık 19 puan gerisinde.
• Retler: 161 görevin 14'ünde en az bir model güvenlik gerekçesiyle yanıt vermeyi reddetti; Claude Sonnet 5.5, 6 görevle en çok ret veren model oldu.

Bunlar Artificial Analysis'in kendi ölçümleridir.