Artificial Analysis ने Coding Agent Index v2.0 जारी किया; Claude Code with Opus 5.5 61.7 अंकों के साथ सबसे आगे

Artificial Analysis ने अपने Coding Agent Index का v2.0 लॉन्च किया। इसमें मॉडल और उनके agent harnesses को सॉफ्टवेयर इंजीनियरिंग, टर्मिनल के इस्तेमाल और रिपॉज़िटरी Q&A के 290 टास्क पर समान वज़न देकर स्कोर किया जाता है। ये स्कोर Artificial Analysis के अपने हैं, इनका स्वतंत्र रूप से सत्यापन नहीं हुआ है।

v1.5 से क्या बदला:

• Cognition का FrontierCode v1.1, DeepSWE v1.1 की जगह लेता है। इसमें असली ओपन-सोर्स रिपॉज़िटरी पर 100 टास्क हैं और टेस्ट सेट निजी है। मूल्यांकन इस आधार पर होता है कि कोई मेंटेनर बदलाव को मर्ज करेगा या नहीं; समाधान-सामग्री तक पहुँचने के लिए चिह्नित प्रयास को शून्य अंक मिलते हैं।
• SWE-Atlas-QnA-AA में Scale AI के 124 रिपॉज़िटरी Q&A टास्क के मूल्यांकन में बदलाव किया गया है: 1,306 रूब्रिक मानदंडों में से 127 की शब्दावली बदली गई और अब हर मानदंड के लिए पाँच वोट के साथ GPT-6 Luna (xhigh) जज है।
• Terminal-Bench 4.0 में कोई बदलाव नहीं हुआ है।
• दोनों संस्करणों पर मापे गए लगभग हर कॉन्फ़िगरेशन के स्कोर कम हैं: औसत 54.8 से घटकर 47.4 हो गया है। इसकी मुख्य वजह FrontierCode है (DeepSWE पर 65.6% औसत की तुलना में 45.1%)।

नतीजे:

• Index: Claude Code with Claude Opus 5.5 (max) को 61.7 अंक मिले। इसके बाद Claude Code with Claude Sonnet 5.5 (59.3), Muse Code with Muse Wonder Full (58.9) और Claude Code with Claude Fable 5.1 (57.6) हैं।
• FrontierCode: Opus 5.5 को 56.0% अंक मिले। इसके बाद Codex with DeepSeek V4.1 Flash (52.6%), Codex with GPT-6.1 Sol (49.4%) और Codex with GPT-6 Astra (49.3%) हैं। 24 में से 15 कॉन्फ़िगरेशन को 43% से 49% के बीच अंक मिले।
• SWE-Atlas-QnA-AA: Muse Code with Muse Wonder Full 68.8% के साथ सबसे आगे है, इसके बाद Claude Code with Fable 5.1 (66.4%) और Opus 5.5 (65.9%) हैं।
• प्रति टास्क लागत (पे-पर-टोकन API लागत): Codex with DeepSeek V4.1 Flash को $0.39 पर 47.3 अंक, Codex with GPT-6.1 Sol को $1.50 पर 54.1, Codex with GPT-6 Astra को $7.04 पर 54.7 और Claude Code with Opus 5.5 को $11.42 पर 61.7 अंक मिले।