Google DeepMind запускает MKA — бенчмарк для агентов, работающих с визуально сложными файлами

Artificial Analysis сообщает о сотрудничестве с Google DeepMind над оценкой Multimodal Knowledge Agent (MKA) — бенчмарком для агентной работы со знаниями на основе визуально сложных проектных файлов: инженерных схем, архитектурных чертежей и клинических снимков. Агенты должны использовать их для создания презентаций, электронных таблиц, отчётов и изображений с пометками. Задания охватывают 10 отраслей; доступен открытый набор из 10 заданий.

По данным Artificial Analysis, ни одна модель не лидирует во всех отраслях. Claude Fable 5.2 занимает первое место в пяти из них (программное обеспечение и данные, инженерное дело, логистика и картография, бизнес и финансы — в последней категории наравне с Claude Sonnet), а также лидирует в четырёх из шести типов выходных файлов (PDF, Word, с небольшим отрывом — электронные таблицы и презентации наравне с Claude Opus 5.5 (max)).

В одном примере, сообщает компания, Gemini 4 Carbon (high) выполнила задание за 76 ходов и примерно час, потратив около $8; Claude Fable 5.2 (max) понадобилось 224 хода, около трёх часов и примерно $68. Презентация Fable 5.2 получила более высокую оценку (87% против 72%). Критерии оценки делятся на «Climb» (более сложные задачи, в которых передовые модели всё ещё часто терпят неудачу) и «Regression» (базовая компетентность); в категории Regression семь ведущих моделей набирают от 95% до 97%.

Это собственные данные Artificial Analysis; Google DeepMind опубликовала отдельную вводную статью о бенчмарке.