Google DeepMind lance MKA, un benchmark pour les agents qui travaillent à partir de fichiers visuellement complexes

Artificial Analysis indique s’être associé à Google DeepMind pour l’évaluation Multimodal Knowledge Agent (MKA), un benchmark consacré au travail de connaissance agentique sur des fichiers de projet visuellement complexes : schémas d’ingénierie, plans architecturaux et scans cliniques. Les agents doivent s’appuyer sur ces fichiers pour produire des diaporamas, des feuilles de calcul, des rapports et des images annotées. Les tâches couvrent 10 secteurs, et un jeu public de 10 tâches est disponible.

Artificial Analysis rapporte qu’aucun modèle ne domine dans tous les secteurs. Claude Fable 5.2 arrive en tête dans cinq d’entre eux (Logiciels et données, Ingénierie, Logistique et cartographie, Commerce et Finance, cette dernière catégorie étant partagée avec Claude Sonnet), et domine quatre des six types de fichiers de sortie (PDF, Word, de justesse les feuilles de calcul, et les présentations à égalité avec Claude Opus 5.5 (max)).

Pour une tâche donnée, Gemini 4 Carbon (high) a terminé en 76 tours et environ une heure, pour quelque 8 $, contre 224 tours, environ trois heures et quelque 68 $ pour Claude Fable 5.2 (max), indique l’entreprise. Le diaporama de Fable 5.2 a obtenu un meilleur score (87 % contre 72 %). Les critères de la grille d’évaluation sont répartis entre « Climb » (plus difficiles, et où les modèles de pointe échouent encore souvent) et « Regression » (compétences de base) ; dans cette dernière catégorie, les sept modèles les mieux classés obtiennent tous entre 95 % et 97 %.

Il s’agit des propres chiffres d’Artificial Analysis ; Google DeepMind a publié son propre billet de lancement sur le benchmark.