Artificial Analysis lance VIALS-AA, un classement du raisonnement visuel en sciences de la vie où Gemini 4 Carbon arrive en tête avec 64 %

Artificial Analysis a lancé VIALS-AA, un classement fondé sur le benchmark VIALS de Handshake AI. VIALS comprend 161 tâches réparties dans huit domaines. Pour chacune, un modèle doit interpréter un document scientifique (blots de gels, graphiques de cytométrie en flux, cartes plasmidiques, phylogénies) et en tirer une conclusion précise.

Artificial Analysis exécute chaque tâche trois fois dans son environnement d’agent open source Stirrup, avec des outils d’exécution de code et d’inspection d’images. GPT-6 Luna (medium) évalue chaque réponse par rapport à la référence, et le score correspond à la part des tâches jugées correctes lors des trois exécutions.

Selon Artificial Analysis :

• Meilleurs scores : Gemini 4 Carbon (high) arrive en tête avec 64 %, devant GPT-6 Astra (max) à 63 % et Claude Opus 5.5 (max avec solution de repli) à 61 %.
• Coût : GPT-6 Astra et GPT-6.1 Sol (tous deux en max) utilisent environ 8 tours par tâche, contre environ 27 pour Claude Opus 5.5 et environ 25 pour Claude Sonnet 5.5. Opus 5.5 coûte en moyenne 1,64 $ par tâche, soit environ 29 fois les quelque 0,056 $ de Sol.
• Poids ouverts : Kimi K3.1 Pro arrive en tête avec 45 %, juste devant MiMo-V2.6-Pro à 43 %, soit environ 19 points de moins que le meilleur score.
• Refus : 14 des 161 tâches ont entraîné un refus lié à la sécurité de la part d’au moins un modèle ; Claude Sonnet 5.5 en a refusé 6, le plus grand nombre parmi les modèles.

Il s’agit des propres mesures d’Artificial Analysis.