Google DeepMind lanceert MKA, een benchmark voor agents die werken met visueel complexe bestanden

Artificial Analysis zegt te hebben samengewerkt met Google DeepMind aan de Multimodal Knowledge Agent (MKA)-evaluatie, een benchmark voor kenniswerk met agents aan visueel complexe projectbestanden, zoals technische schema's, architectuurtekeningen en klinische scans. Agents moeten die gebruiken om presentaties, spreadsheets, rapporten en geannoteerde afbeeldingen te maken. De taken bestrijken 10 sectoren; er is een openbare set van 10 taken beschikbaar.

Artificial Analysis meldt dat geen enkel model in alle sectoren domineert. Claude Fable 5.2 voert er vijf aan (Software & Data, Engineering, Logistics & Mapping, Business en Finance, die laatste samen met Claude Sonnet) en staat bovenaan voor vier van de zes uitvoerbestandstypen (PDF, Word, nipt Spreadsheet en Presentation, samen met Claude Opus 5.5 (max)).

Bij één voorbeeldtaak voltooide Gemini 4 Carbon (high) de taak volgens Artificial Analysis in 76 beurten en ongeveer een uur, voor circa $8. Claude Fable 5.2 (max) had daarentegen 224 beurten, ongeveer drie uur en circa $68 nodig. De presentatie van Fable 5.2 scoorde hoger (87% tegenover 72%). De criteria van de rubric zijn verdeeld in "Klimmen" (moeilijker, waarbij grensverleggende modellen nog vaak falen) en "Regressie" (basisvaardigheid); voor Regressie scoren de zeven best presterende modellen allemaal tussen 95% en 97%.

Dit zijn de eigen cijfers van Artificial Analysis; Google DeepMind publiceerde een eigen blogbericht over de lancering van de benchmark.