Artificial Analysis: araçlar olmadan Claude Fable 5.2, VIALS-AA'da %67'den %44'e düşerek araçlarla çalışan Haiku 5.5'in gerisinde kalıyor

Artificial Analysis, yaşam bilimlerine yönelik görsel akıl yürütme kıyaslaması VIALS-AA'yı tek seferlik bir formatta yeniden çalıştırdı: soruyu ve görselleri içeren tek bir istek, araç kullanımı yok. Kıyaslama varsayılan olarak modellerin bir sandbox içinde düşünen, kod çalıştıran ve görselleri inceleyen ajanlar gibi çalışmasını sağlıyor. Artificial Analysis'e göre modeller genelinde araç kullanımı puanları neredeyse ikiye katlayarak ortalama yaklaşık %25'ten %47'ye çıkarıyor.

• Fable 5.2 (max): Araçlarla görev başına 4,20 $ maliyetle %67; araçlar olmadan görev başına 0,73 $ maliyetle %44 — bu oran, araçlarla çalışan Claude Haiku 5.5 (max)'in altında.
• Haiku 5.5 (max): Araçlarla görev başına 0,07 $ maliyetle %49. Artificial Analysis, belirli bir puana ulaşmanın en ucuz yolunun çoğu zaman araçlarla daha küçük bir model kullanmak olduğunu söylüyor: Claude Opus 5.5 araçlar olmadan, 0,33 $ maliyetle %34 puan alıyor.
• Sayma görevleri: Hücre sayma ve miktar belirlemeye yönelik 23 görevde Fable'ın pass^3 oranı araçlarla %65'ten araçlar olmadan %9'a düşüyor; Opus 5.5'in oranı %57'den %4'e; Claude Sonnet 5.5'inki %65'ten %13'e geriliyor. GPT-6 Astra %61'den %35'e, GPT-6.1 Sol ise %61'den %39'a düşüyor. 23 filogenetik görevde Astra, araçlarla %78'ini, araçlar olmadan %83'ünü geçiyor.
• En çok kim kazanıyor: Araçlar olmadan %31'in altında puan alan on model, görev başına ortalama yaklaşık 42 araç çağrısı yaparken, bu eşiğin üstündeki yedi model yaklaşık 23 çağrı yapıyor. MiMo-V2.6-Pro, görev başına yaklaşık 49 çağrıyla %5'ten %43'e; Gemini 3.8 Flash (high) ise yaklaşık 68 çağrıyla %16'dan %41'e çıkıyor. Astra ve Sol görev başına yaklaşık 8 çağrı yapıyor ve sırasıyla 13 ve 16 puan kazanıyor.
• Maliyet: Araçlar tüm modellerde görev başına maliyeti artırıyor: Astra'da 0,21 $'dan 0,27 $'a, Fable'da ise 5,8 katına yükseliyor. En yüksek artış katsayıları Qwen3.8 Max (0902, xhigh) için 28×, Gemini 3.8 Flash için 20× ve MiMo-V2.6-Pro için 15×.

Bunlar Artificial Analysis'in kendi ölçümleridir.