Google DeepMind ने दृश्य रूप से जटिल फ़ाइलों पर काम करने वाले एजेंटों के लिए बेंचमार्क MKA लॉन्च किया

Artificial Analysis का कहना है कि उसने Google DeepMind के साथ मिलकर Multimodal Knowledge Agent (MKA) evaluation तैयार किया है। यह दृश्य रूप से जटिल प्रोजेक्ट फ़ाइलों—इंजीनियरिंग योजनाओं, वास्तुशिल्पीय रेखाचित्रों और क्लिनिकल स्कैन—के आधार पर एजेंटिक ज्ञान कार्य के लिए एक बेंचमार्क है। एजेंटों को इनका उपयोग करके स्लाइड डेक, स्प्रेडशीट, रिपोर्ट और टिप्पणियों वाली छवियाँ तैयार करनी होती हैं। कार्य 10 क्षेत्रों में फैले हैं और 10 कार्यों का एक सार्वजनिक सेट उपलब्ध है।

Artificial Analysis की रिपोर्ट है कि कोई एक मॉडल सभी क्षेत्रों में शीर्ष स्थान पर नहीं है। Claude Fable 5.2 इनमें से पाँच क्षेत्रों (Software & Data, Engineering, Logistics & Mapping, Business और Finance—जिसमें Claude Sonnet भी उसके साथ शीर्ष पर है) में आगे है। छह में से चार आउटपुट फ़ाइल प्रकारों में भी यह आगे है: PDF, Word, मामूली अंतर से Spreadsheet, और Presentation में Claude Opus 5.5 (max) के साथ।

एक उदाहरण कार्य में, इसके अनुसार Gemini 4 Carbon (high) ने 76 टर्न और लगभग एक घंटे में काम पूरा किया, जिसकी लागत करीब $8 थी। इसके मुकाबले Claude Fable 5.2 (max) ने 224 टर्न और लगभग तीन घंटे लिए, जिसकी लागत करीब $68 थी। Fable 5.2 के डेक का स्कोर अधिक था (87% बनाम 72%)। मूल्यांकन मानदंडों को "Climb" (अधिक कठिन, जिनमें अग्रणी मॉडल भी अब तक अक्सर विफल होते हैं) और "Regression" (बुनियादी दक्षता) में बाँटा गया है; Regression में शीर्ष सातों मॉडल का स्कोर 95% से 97% के बीच है।

ये Artificial Analysis के अपने आँकड़े हैं; Google DeepMind ने इस बेंचमार्क के लिए अपना लॉन्च ब्लॉग प्रकाशित किया है।