Google DeepMind lancia MKA, un benchmark per agenti che lavorano su file visivamente complessi

Artificial Analysis afferma di aver collaborato con Google DeepMind alla valutazione Multimodal Knowledge Agent (MKA), un benchmark per il lavoro di conoscenza agentico su file di progetto visivamente complessi: schemi ingegneristici, disegni architettonici e scansioni cliniche. Gli agenti devono usarli per produrre presentazioni, fogli di calcolo, report e immagini annotate. Le attività coprono 10 settori e sono disponibili 10 attività pubbliche.

Artificial Analysis riferisce che nessun singolo modello prevale in tutti i settori. Claude Fable 5.2 è in testa in cinque (Software e dati, Ingegneria, Logistica e cartografia, Business e Finanza, quest’ultimo a pari merito con Claude Sonnet) e guida quattro dei sei tipi di file di output (PDF, Word, di misura in Fogli di calcolo e Presentazioni, a pari merito con Claude Opus 5.5 (max)).

Per un’attività di esempio, riferisce che Gemini 4 Carbon (high) l’ha completata in 76 turni e circa un’ora, per circa 8 $, contro i 224 turni, le circa tre ore e i circa 68 $ di Claude Fable 5.2 (max). La presentazione di Fable 5.2 ha ottenuto un punteggio più alto (87% contro 72%). I criteri di valutazione sono suddivisi in «Climb» (più difficili, in cui i modelli di frontiera spesso falliscono ancora) e «Regression» (competenza di base); in Regression, i sette modelli in testa ottengono tutti un punteggio compreso tra il 95% e il 97%.

Questi sono i dati di Artificial Analysis; Google DeepMind ha pubblicato un proprio post sul lancio del benchmark.