Google DeepMind lanza MKA, un benchmark para agentes que trabajan con archivos visualmente complejos

Artificial Analysis afirma que se asoció con Google DeepMind para la evaluación Multimodal Knowledge Agent (MKA), un benchmark de trabajo de conocimiento con agentes sobre archivos de proyectos visualmente complejos: esquemas de ingeniería, planos arquitectónicos e imágenes clínicas. Los agentes deben usarlos para crear presentaciones, hojas de cálculo, informes e imágenes anotadas. Las tareas abarcan 10 sectores y hay disponible un conjunto público de 10 tareas.

Artificial Analysis informa que ningún modelo domina en todos los sectores. Claude Fable 5.2 lidera en cinco de ellos (Software y datos, Ingeniería, Logística y cartografía, Negocios y Finanzas, esta última junto con Claude Sonnet) y encabeza cuatro de los seis tipos de archivo de salida (PDF, Word, por poco Hojas de cálculo y Presentación, esta última junto con Claude Opus 5.5 (max)).

En una tarea de ejemplo, señala que Gemini 4 Carbon (high) la completó en 76 turnos y aproximadamente una hora por unos $8, frente a los 224 turnos, aproximadamente tres horas y unos $68 de Claude Fable 5.2 (max). La presentación de Fable 5.2 obtuvo una puntuación más alta (87% frente a 72%). Los criterios de evaluación se dividen en «Climb» (más difíciles, donde los modelos de frontera aún suelen fallar) y «Regression» (competencia básica); en Regression, los siete modelos líderes obtienen entre el 95% y el 97%.

Estas son cifras propias de Artificial Analysis; Google DeepMind publicó su propio artículo de lanzamiento sobre el benchmark.