Google DeepMind lança o MKA, um benchmark para agentes que trabalham com arquivos visualmente complexos

A Artificial Analysis afirma que fez uma parceria com o Google DeepMind para a avaliação Multimodal Knowledge Agent (MKA), um benchmark de trabalho com conhecimento por agentes em arquivos de projeto visualmente complexos: esquemas de engenharia, desenhos arquitetônicos e exames clínicos. Os agentes devem usar esses arquivos para produzir apresentações de slides, planilhas, relatórios e imagens com anotações. As tarefas abrangem 10 setores, e um conjunto público com 10 tarefas está disponível.

A Artificial Analysis informa que nenhum modelo domina em todos os setores. O Claude Fable 5.2 lidera em cinco deles (Software e Dados, Engenharia, Logística e Mapeamento, Negócios e Finanças, esta última ao lado do Claude Sonnet) e lidera em quatro dos seis tipos de arquivo de saída (PDF, Word, Planilha por uma margem estreita e Apresentação, ao lado do Claude Opus 5.5 (max)).

Em uma tarefa de exemplo, a empresa diz que o Gemini 4 Carbon (high) concluiu o trabalho em 76 turnos e cerca de uma hora, por aproximadamente US$ 8, em comparação com 224 turnos, cerca de três horas e aproximadamente US$ 68 para o Claude Fable 5.2 (max). A apresentação do Fable 5.2 recebeu uma pontuação mais alta (87% contra 72%). Os critérios da rubrica são divididos em "Escalada" (mais difíceis, nos quais os modelos de ponta ainda costumam falhar) e "Regressão" (competência básica); em Regressão, os sete modelos líderes pontuam de 95% a 97%.

Esses são os números da própria Artificial Analysis; o Google DeepMind publicou seu próprio blog de lançamento sobre o benchmark.