AI Tracker下载 App
← 全部新闻
Google模型多模态

Google DeepMind 推出 MKA:面向处理视觉复杂文件的智能体的基准测试

Artificial Analysis 表示,该机构与 Google DeepMind 合作开展了 Multimodal Knowledge Agent(MKA)评测。这是一项针对智能体处理视觉复杂项目文件的知识工作能力的基准测试,文件包括工程示意图、建筑图纸和临床扫描影像。智能体需要利用这些文件生成幻灯片、电子表格、报告和标注图片。任务覆盖 10 个垂直领域,并提供了包含 10 项任务的公开测试集。

Artificial Analysis 报告称,没有任何单一模型在所有垂直领域都占据优势。Claude Fable 5.2 在五个领域领先(软件与数据、工程、物流与地图、商业和金融;在金融领域与 Claude Sonnet 并列),并在六种输出文件类型中的四种领先(PDF、Word、电子表格〔优势较小〕,以及与 Claude Opus 5.5 (max) 并列领先的演示文稿)。

Artificial Analysis 称,在一项示例任务中,Gemini 4 Carbon (high) 用 76 轮、约 1 小时完成,费用约为 8 美元;相比之下,Claude Fable 5.2 (max) 用了 224 轮、约 3 小时,费用约为 68 美元。Fable 5.2 制作的演示文稿得分更高(87% 对 72%)。评分标准分为“Climb”(难度更高,前沿模型仍常常无法通过)和“Regression”(基准能力);在 Regression 项目上,排名前七的模型得分均为 95% 至 97%。

这些数据来自 Artificial Analysis;Google DeepMind 也为该基准测试发布了自己的上线博客。

这样的新闻,第一时间推送给你。

你用的 AI 工具一有变化,AI Tracker 就会提醒你。

下载 App