Artificial Analysis lança o VIALS-AA, um ranking de raciocínio visual em ciências da vida no qual Gemini 4 Carbon lidera com 64%
A Artificial Analysis lançou o VIALS-AA, um ranking para o benchmark VIALS da Handshake AI. O VIALS tem 161 tarefas em oito domínios, nas quais um modelo precisa ler um material científico (blots de gel, gráficos de citometria de fluxo, mapas de plasmídeos, filogenias) e chegar a uma conclusão específica.
A Artificial Analysis executa cada tarefa três vezes em seu ambiente de agente de código aberto Stirrup, com ferramentas de execução de código e inspeção de imagens. O GPT-6 Luna (medium) avalia cada resposta com base na referência, e a pontuação é a proporção de tarefas consideradas corretas nas três execuções.
Segundo a Artificial Analysis:
- Melhores pontuações: Gemini 4 Carbon (high) lidera com 64%, à frente de GPT-6 Astra (max), com 63%, e Claude Opus 5.5 (max com fallback), com 61%.
- Custo: GPT-6 Astra e GPT-6.1 Sol (ambos max) usam cerca de 8 turnos por tarefa, contra cerca de 27 do Claude Opus 5.5 e cerca de 25 do Claude Sonnet 5.5. O Opus 5.5 custa, em média, US$ 1,64 por tarefa, cerca de 29 vezes os aproximadamente US$ 0,056 do Sol.
- Pesos abertos: Kimi K3.1 Pro lidera com 45%, pouco à frente do MiMo-V2.6-Pro, com 43%, cerca de 19 pontos abaixo da pontuação mais alta.
- Recusas: 14 das 161 tarefas receberam uma recusa por motivos de segurança de pelo menos um modelo; Claude Sonnet 5.5 recusou 6, o maior número entre os modelos.
Estas são medições próprias da Artificial Analysis.
Fontes
Receba notícias como esta por push.
O AI Tracker avisa você quando algo muda nas ferramentas que você usa.