Artificial Analysis meluncurkan VIALS-AA, papan peringkat penalaran visual ilmu hayati yang dipimpin Gemini 4 Carbon dengan skor 64%

Artificial Analysis telah meluncurkan VIALS-AA, papan peringkat untuk benchmark VIALS dari Handshake AI. VIALS memiliki 161 tugas dalam delapan domain. Untuk setiap tugas, model harus membaca artefak ilmiah (gel blot, plot flow cytometry, peta plasmid, filogeni) dan menarik kesimpulan tertentu.

Artificial Analysis menjalankan setiap tugas tiga kali menggunakan kerangka kerja agen sumber terbukanya, Stirrup, dengan alat eksekusi kode dan inspeksi gambar. GPT-6 Luna (medium) menilai setiap jawaban berdasarkan jawaban acuan, dan skornya adalah persentase tugas yang dinilai benar dalam ketiga percobaan.

Menurut Artificial Analysis:

• Skor tertinggi: Gemini 4 Carbon (high) memimpin dengan 64%, diikuti GPT-6 Astra (max) dengan 63% dan Claude Opus 5.5 (max dengan fallback) dengan 61%.
• Biaya: GPT-6 Astra dan GPT-6.1 Sol (keduanya max) menggunakan sekitar 8 giliran per tugas, dibandingkan sekitar 27 untuk Claude Opus 5.5 dan sekitar 25 untuk Claude Sonnet 5.5. Rata-rata biaya Opus 5.5 adalah $1.64 per tugas, sekitar 29 kali lipat dari Sol yang kira-kira $0.056.
• Bobot terbuka: Kimi K3.1 Pro memimpin dengan 45%, sedikit di atas MiMo-V2.6-Pro dengan 43%, sekitar 19 poin di bawah skor tertinggi.
• Penolakan: Sebanyak 14 dari 161 tugas memicu penolakan atas dasar keamanan dari setidaknya satu model; Claude Sonnet 5.5 menolak 6 tugas, terbanyak di antara semua model.

Ini adalah hasil pengukuran Artificial Analysis sendiri.