Artificial Analysis : sans outils, Claude Fable 5.2 passe de 67 % à 44 % sur VIALS-AA, sous Haiku 5.5 avec outils

Artificial Analysis a relancé VIALS-AA, son benchmark de raisonnement visuel en sciences de la vie, au format one-shot : une seule requête contenant la question et les images, sans outils. Par défaut, le benchmark fait travailler les modèles comme des agents qui réfléchissent, exécutent du code et observent des images dans un environnement isolé. D’après Artificial Analysis, l’utilisation d’outils fait presque doubler les scores des modèles, qui passent d’environ 25 % à environ 47 % en moyenne.

• Fable 5.2 (max) : 67 % avec outils, à 4,20 $ par tâche ; 44 % sans outils, à 0,73 $ par tâche, soit moins que Claude Haiku 5.5 (max) avec outils.
• Haiku 5.5 (max) : 49 % avec outils, à 0,07 $ par tâche. Artificial Analysis indique que le moyen le moins coûteux d’obtenir un score donné est souvent d’utiliser un modèle plus petit avec des outils : Claude Opus 5.5 sans outils obtient 34 % à 0,33 $.
• Tâches de comptage : sur les 23 tâches de comptage et de quantification de cellules, le taux de réussite^3 de Fable passe de 65 % avec outils à 9 % sans outils ; celui d’Opus 5.5, de 57 % à 4 % ; celui de Claude Sonnet 5.5, de 65 % à 13 %. GPT-6 Astra passe de 61 % à 35 % et GPT-6.1 Sol, de 61 % à 39 %. Sur les 23 tâches de phylogénétique, Astra réussit 78 % des tâches avec outils et 83 % sans outils.
• Les modèles qui en profitent le plus : les dix modèles obtenant moins de 31 % sans outils effectuent en moyenne environ 42 appels d’outils par tâche, contre environ 23 pour les sept modèles au-dessus de ce seuil. MiMo-V2.6-Pro passe de 5 % à 43 % avec environ 49 appels par tâche ; Gemini 3.8 Flash (high), de 16 % à 41 % avec environ 68 appels. Astra et Sol effectuent environ 8 appels par tâche et gagnent respectivement 13 et 16 points.
• Coût : les outils augmentent le coût par tâche pour tous les modèles, de 0,21 $ à 0,27 $ pour Astra jusqu’à une hausse de 5,8× pour Fable. Les plus fortes hausses sont celles de Qwen3.8 Max (0902, xhigh), à 28×, Gemini 3.8 Flash, à 20×, et MiMo-V2.6-Pro, à 15×.

Il s’agit des propres mesures d’Artificial Analysis.