Google DeepMind bringt MKA auf den Markt, einen Benchmark für Agents, die mit visuell komplexen Dateien arbeiten

Artificial Analysis zufolge hat sich das Unternehmen mit Google DeepMind zusammengetan, um die Multimodal Knowledge Agent (MKA)-Evaluation zu entwickeln. Der Benchmark bewertet agentische Wissensarbeit mit visuell komplexen Projektdateien: technischen Schaltplänen, Architekturzeichnungen und klinischen Scans. Agents müssen diese nutzen, um Präsentationen, Tabellen, Berichte und annotierte Bilder zu erstellen. Die Aufgaben decken 10 Branchen ab; ein öffentlich zugänglicher Satz mit 10 Aufgaben ist verfügbar.

Artificial Analysis berichtet, dass kein einzelnes Modell in allen Branchen führend ist. Claude Fable 5.2 liegt in fünf Bereichen vorn (Software & Data, Engineering, Logistics & Mapping, Business und Finance, wo es sich die Führung mit Claude Sonnet teilt) und bei vier der sechs Ausgabedateitypen (PDF, Word, knapp bei Tabellen sowie bei Präsentationen gemeinsam mit Claude Opus 5.5 (max)).

Bei einer Beispielaufgabe benötigte Gemini 4 Carbon (high) laut Artificial Analysis 76 Schritte und etwa eine Stunde, bei Kosten von ungefähr 8 $, verglichen mit 224 Schritten, etwa drei Stunden und rund 68 $ für Claude Fable 5.2 (max). Die Präsentation von Fable 5.2 erzielte eine höhere Bewertung (87 % gegenüber 72 %). Die Bewertungskriterien sind in „Climb“ (schwieriger, wobei Frontier-Modelle noch oft scheitern) und „Regression“ (grundlegende Kompetenz) unterteilt; bei Regression erzielen die sieben führenden Modelle allesamt 95 % bis 97 %.

Dies sind die eigenen Zahlen von Artificial Analysis; Google DeepMind hat einen eigenen Ankündigungsbeitrag zum Benchmark veröffentlicht.