Google DeepMind meluncurkan MKA, tolok ukur untuk agen yang bekerja dengan berkas yang kompleks secara visual

Artificial Analysis mengatakan bahwa mereka bermitra dengan Google DeepMind dalam evaluasi Multimodal Knowledge Agent (MKA), sebuah tolok ukur untuk pekerjaan pengetahuan berbasis agen yang menggunakan berkas proyek yang kompleks secara visual: skema teknik, gambar arsitektur, dan hasil pemindaian klinis. Agen harus menggunakan berkas tersebut untuk membuat slide, spreadsheet, laporan, dan gambar beranotasi. Tugasnya mencakup 10 bidang, dan set publik berisi 10 tugas telah tersedia.

Artificial Analysis melaporkan bahwa tidak ada satu model pun yang unggul di semua bidang. Claude Fable 5.2 memimpin di lima bidang (Software & Data, Engineering, Logistics & Mapping, Business, dan Finance, yang terakhir bersama Claude Sonnet), serta memimpin pada empat dari enam jenis berkas keluaran (PDF, Word, Spreadsheet dengan selisih tipis, dan Presentation bersama Claude Opus 5.5 (max)).

Untuk satu contoh tugas, mereka menyebut Gemini 4 Carbon (high) menyelesaikannya dalam 76 giliran dan sekitar satu jam dengan biaya kira-kira $8, dibandingkan Claude Fable 5.2 (max) yang membutuhkan 224 giliran, sekitar tiga jam, dan biaya kira-kira $68. Presentasi Fable 5.2 mendapat skor lebih tinggi (87% vs 72%). Kriteria penilaian dibagi menjadi "Climb" (lebih sulit, dan model terdepan masih sering gagal) dan "Regression" (kompetensi dasar); pada Regression, tujuh model teratas semuanya mendapat skor 95% hingga 97%.

Angka-angka ini berasal dari Artificial Analysis sendiri; Google DeepMind menerbitkan blog peluncuran tersendiri untuk tolok ukur tersebut.