Google DeepMind、視覚的に複雑なファイルを扱うエージェント向けベンチマーク「MKA」を公開

Artificial Analysisは、Google DeepMindと共同でMultimodal Knowledge Agent（MKA）評価を実施したと発表しました。これは、エンジニアリング図面、建築図面、臨床スキャン画像など、視覚的に複雑なプロジェクトファイルを扱うエージェント型の知識労働向けベンチマークです。エージェントはこれらのファイルを使って、スライド資料、スプレッドシート、レポート、注釈付き画像を作成する必要があります。タスクは10の分野にわたり、公開版として10タスクが利用できます。

Artificial Analysisによると、すべての分野で一貫して優位に立つモデルはありません。Claude Fable 5.2は5分野（ソフトウェア・データ、エンジニアリング、物流・マッピング、ビジネス、そしてClaude Sonnetと並ぶ金融）で首位となり、6種類の出力ファイルのうち4種類（PDF、Word、僅差でスプレッドシート、そしてClaude Opus 5.5（max）と並ぶプレゼンテーション）でも首位です。

あるタスクの例では、Gemini 4 Carbon（high）は76ターン、約1時間、約8ドルで完了したのに対し、Claude Fable 5.2（max）は224ターン、約3時間、約68ドルかかったとしています。Fable 5.2のスライド資料のスコアはより高く、87%対72%でした。評価基準は「Climb」（より難易度が高く、最先端モデルでも依然として失敗することが多い）と「Regression」（基礎的な能力）に分かれており、Regressionでは上位7モデルがいずれも95%〜97%を記録しています。

これらはArtificial Analysis独自の数値です。Google DeepMindも、このベンチマークの公開に関する独自のブログ記事を掲載しています。