Google DeepMind ra mắt MKA, bộ benchmark dành cho các tác nhân làm việc với tệp có nội dung trực quan phức tạp

Artificial Analysis cho biết họ hợp tác với Google DeepMind trong đánh giá Multimodal Knowledge Agent (MKA), một bộ benchmark về công việc tri thức dựa trên tác nhân với các tệp dự án có nội dung trực quan phức tạp: sơ đồ kỹ thuật, bản vẽ kiến trúc và ảnh chụp lâm sàng. Các tác nhân phải sử dụng những tệp này để tạo bản trình chiếu, bảng tính, báo cáo và hình ảnh có chú thích. Các tác vụ bao phủ 10 lĩnh vực, trong đó có một bộ công khai gồm 10 tác vụ.

Artificial Analysis cho biết không có mô hình nào vượt trội ở tất cả các lĩnh vực. Claude Fable 5.2 dẫn đầu ở năm lĩnh vực (Phần mềm & Dữ liệu, Kỹ thuật, Logistics & Lập bản đồ, Kinh doanh và Tài chính, lĩnh vực cuối cùng đồng dẫn đầu với Claude Sonnet), đồng thời dẫn đầu ở bốn trong sáu loại tệp đầu ra (PDF, Word, sát nút ở Bảng tính và đồng dẫn đầu ở Bản trình chiếu với Claude Opus 5.5 (max)).

Trong một tác vụ mẫu, theo Artificial Analysis, Gemini 4 Carbon (high) hoàn thành sau 76 lượt và khoảng một giờ, với chi phí khoảng $8; trong khi Claude Fable 5.2 (max) cần 224 lượt, khoảng ba giờ và khoảng $68. Bản trình chiếu của Fable 5.2 đạt điểm cao hơn (87% so với 72%). Các tiêu chí chấm điểm được chia thành "Climb" (khó hơn, nơi các mô hình tiên tiến vẫn thường thất bại) và "Regression" (năng lực cơ bản); ở phần Regression, bảy mô hình dẫn đầu đều đạt từ 95% đến 97%.

Đây là số liệu do chính Artificial Analysis đưa ra; Google DeepMind đã đăng bài blog ra mắt riêng về bộ benchmark này.