Google DeepMind, 시각적으로 복잡한 파일을 다루는 에이전트용 벤치마크 MKA 출시

Artificial Analysis는 Google DeepMind와 협력해 Multimodal Knowledge Agent (MKA) 평가를 진행했다고 밝혔습니다. 이는 엔지니어링 도면, 건축 설계도, 임상 영상 등 시각적으로 복잡한 프로젝트 파일을 활용하는 에이전트 기반 지식 작업을 위한 벤치마크입니다. 에이전트는 이 파일을 사용해 슬라이드 자료, 스프레드시트, 보고서, 주석이 달린 이미지를 만들어야 합니다. 과제는 10개 분야에 걸쳐 있으며, 공개된 10개 과제 세트도 이용할 수 있습니다.

Artificial Analysis에 따르면 모든 분야에서 단일 모델이 우위를 점하지는 않습니다. Claude Fable 5.2는 5개 분야(소프트웨어 및 데이터, 엔지니어링, 물류 및 지도 제작, 비즈니스, 그리고 Claude Sonnet과 공동 선두인 금융)에서 선두를 차지했습니다. 또한 6가지 출력 파일 형식 중 4가지(PDF, Word, 근소한 차이로 스프레드시트, 그리고 Claude Opus 5.5 (max)와 공동 선두인 프레젠테이션)에서 앞섰습니다.

Artificial Analysis가 소개한 한 과제 사례에서 Gemini 4 Carbon (high)은 76회 반복과 약 1시간 만에 약 $8의 비용으로 완료했습니다. 반면 Claude Fable 5.2 (max)는 224회 반복, 약 3시간, 약 $68가 들었습니다. Fable 5.2의 슬라이드 자료는 더 높은 점수(87% 대 72%)를 받았습니다. 평가 기준은 더 어려워 최첨단 모델도 여전히 자주 실패하는 '클라임(Climb)'과 기본 역량을 확인하는 '회귀(Regression)'로 나뉩니다. 회귀 부문에서는 상위 7개 모델 모두 95%~97%를 기록했습니다.

이는 Artificial Analysis가 자체적으로 집계한 수치이며, Google DeepMind도 이 벤치마크의 출시를 알리는 자체 블로그 게시물을 공개했습니다.