Artificial Analysis: sem ferramentas, Claude Fable 5.2 cai de 67% para 44% no VIALS-AA, ficando abaixo do Haiku 5.5 com ferramentas

A Artificial Analysis refez o teste VIALS-AA, seu benchmark de raciocínio visual em ciências da vida, em um formato de tentativa única: uma única solicitação com a pergunta e as imagens, sem ferramentas. Por padrão, o benchmark faz com que os modelos atuem como agentes que raciocinam, executam código e visualizam imagens em um ambiente isolado. Segundo a empresa, entre os modelos, o uso de ferramentas quase dobra as pontuações, que passam de cerca de 25% para cerca de 47%, em média.

• Fable 5.2 (max): 67% com ferramentas, a US$ 4,20 por tarefa; 44% sem ferramentas, a US$ 0,73 por tarefa, abaixo do Claude Haiku 5.5 (max) com ferramentas.
• Haiku 5.5 (max): 49% com ferramentas, a US$ 0,07 por tarefa. A Artificial Analysis afirma que a opção mais barata para alcançar determinada pontuação costuma ser um modelo menor com ferramentas: Claude Opus 5.5 sem ferramentas marca 34% a US$ 0,33.
• Tarefas de contagem: nas 23 tarefas de contagem e quantificação de células, a taxa pass^3 do Fable cai de 65% com ferramentas para 9% sem elas; a do Opus 5.5, de 57% para 4%; e a do Claude Sonnet 5.5, de 65% para 13%. GPT-6 Astra cai de 61% para 35%, e GPT-6.1 Sol, de 61% para 39%. Nas 23 tarefas de filogenética, Astra tem uma taxa de aprovação de 78% com ferramentas e 83% sem elas.
• Quem mais se beneficia: os dez modelos com pontuação abaixo de 31% sem ferramentas fazem, em média, cerca de 42 chamadas de ferramentas por tarefa; os sete que ficam acima disso fazem cerca de 23. MiMo-V2.6-Pro sobe de 5% para 43% com cerca de 49 chamadas por tarefa; Gemini 3.8 Flash (high), de 16% para 41% com cerca de 68. Astra e Sol fazem cerca de 8 chamadas por tarefa e ganham 13 e 16 pontos.
• Custo: as ferramentas aumentam o custo por tarefa de todos os modelos, de US$ 0,21 para US$ 0,27 no Astra até um aumento de 5,8× no Fable; os maiores múltiplos são os do Qwen3.8 Max (0902, xhigh), com 28×, do Gemini 3.8 Flash, com 20×, e do MiMo-V2.6-Pro, com 15×.

Estas são medições da própria Artificial Analysis.