Artificial Analysis: tanpa alat, skor Claude Fable 5.2 turun dari 67% menjadi 44% pada VIALS-AA, di bawah Haiku 5.5 dengan alat

Artificial Analysis menguji ulang VIALS-AA, tolok ukur penalaran visual ilmu hayati miliknya, dalam format sekali jalan: satu permintaan berisi pertanyaan dan gambar, tanpa alat. Secara default, tolok ukur ini membuat model bekerja sebagai agen yang berpikir, menjalankan kode, dan melihat gambar di sandbox. Menurut Artificial Analysis, penggunaan alat hampir menggandakan skor di berbagai model, dari rata-rata sekitar 25% menjadi sekitar 47%.

• Fable 5.2 (max): 67% dengan alat dengan biaya $4.20 per tugas; 44% tanpa alat dengan biaya $0.73 per tugas, di bawah Claude Haiku 5.5 (max) dengan alat.
• Haiku 5.5 (max): 49% dengan alat dengan biaya $0.07 per tugas. Artificial Analysis menyebut bahwa cara termurah untuk mencapai skor tertentu sering kali adalah menggunakan model yang lebih kecil dengan alat: Claude Opus 5.5 tanpa alat mendapat skor 34% dengan biaya $0.33.
• Tugas penghitungan: pada 23 tugas penghitungan dan kuantifikasi sel, tingkat kelulusan pass^3 Fable turun dari 65% dengan alat menjadi 9% tanpa alat; Opus 5.5 turun dari 57% menjadi 4%; Claude Sonnet 5.5 dari 65% menjadi 13%. GPT-6 Astra turun dari 61% menjadi 35% dan GPT-6.1 Sol dari 61% menjadi 39%. Pada 23 tugas filogenetika, Astra lulus 78% dengan alat dan 83% tanpa alat.
• Pihak yang paling diuntungkan: sepuluh model dengan skor di bawah 31% tanpa alat rata-rata menggunakan sekitar 42 panggilan alat per tugas, sedangkan tujuh model dengan skor di atasnya menggunakan sekitar 23. MiMo-V2.6-Pro naik dari 5% menjadi 43% dengan sekitar 49 panggilan per tugas; Gemini 3.8 Flash (high) naik dari 16% menjadi 41% dengan sekitar 68 panggilan. Astra dan Sol masing-masing membuat sekitar 8 panggilan per tugas dan naik 13 serta 16 poin.
• Biaya: alat meningkatkan biaya per tugas untuk semua model, mulai dari $0.21 menjadi $0.27 untuk Astra hingga kenaikan 5.8× untuk Fable; kelipatan terbesar adalah Qwen3.8 Max (0902, xhigh) sebesar 28×, Gemini 3.8 Flash sebesar 20×, dan MiMo-V2.6-Pro sebesar 15×.

Ini adalah pengukuran yang dilakukan Artificial Analysis sendiri.