Google DeepMind udostępnia MKA, benchmark dla agentów pracujących z wizualnie złożonymi plikami

Artificial Analysis informuje, że wraz z Google DeepMind opracowało ewaluację Multimodal Knowledge Agent (MKA) — benchmark dla agentów wykonujących zadania związane z wiedzą na podstawie wizualnie złożonych plików projektowych: schematów technicznych, rysunków architektonicznych i skanów klinicznych. Agenci muszą na ich podstawie tworzyć prezentacje, arkusze kalkulacyjne, raporty i obrazy z naniesionymi adnotacjami. Zadania obejmują 10 branż, a publicznie dostępny jest zestaw 10 zadań.

Artificial Analysis podaje, że żaden model nie dominuje we wszystkich branżach. Claude Fable 5.2 prowadzi w pięciu z nich (oprogramowanie i dane, inżynieria, logistyka i mapowanie, biznes oraz finanse — w tej ostatniej kategorii ex aequo z Claude Sonnet) i przoduje w czterech z sześciu typów plików wynikowych (PDF, Word, z niewielką przewagą arkusze kalkulacyjne oraz prezentacje ex aequo z Claude Opus 5.5 (max)).

W jednym przykładowym zadaniu, jak podaje Artificial Analysis, Gemini 4 Carbon (high) ukończył pracę w 76 turach i około godzinę, za mniej więcej 8 USD. Claude Fable 5.2 (max) potrzebował 224 tur i około trzech godzin, a koszt wyniósł mniej więcej 68 USD. Prezentacja Fable 5.2 uzyskała wyższą ocenę (87% wobec 72%). Kryteria oceny podzielono na „Climb” (trudniejsze zadania, w których modele czołówki nadal często zawodzą) oraz „Regression” (podstawowe kompetencje); w kategorii Regression siedem najlepszych modeli uzyskało od 95% do 97%.

To dane własne Artificial Analysis; Google DeepMind opublikowało własny wpis na blogu z okazji premiery benchmarku.