Artificial Analysis ने Intelligence Index v5 जारी किया, जिसमें Claude Opus 5.5 शीर्ष पर है

Artificial Analysis ने अपने Intelligence Index का संस्करण 5 प्रकाशित किया। यह मॉडल क्षमताओं का संयुक्त माप है, जिसमें दो नए बेंचमार्क और तीन अपग्रेड शामिल हैं। उसका कहना है कि पहली बार, इंडेक्स का अधिकांश हिस्सा निजी डेटासेट पर आधारित है। उसने Progress Index v1 भी लॉन्च किया, जो नवंबर 2022 के बाद जारी हुए भाषा मॉडलों को क्षमता के एक ही पैमाने पर रखता है।

बेंचमार्क साइट की रिपोर्ट (उसके अपने माप):

• नया: FrontierCode 2.0, Cognition का निजी कोडिंग बेंचमार्क, जिसमें वास्तविक ओपन-सोर्स रिपॉज़िटरी के 132 कार्य हैं और यह इस आधार पर आँकता है कि कोई मेंटेनर बदलाव को मर्ज करेगा या नहीं; और Terminal-Bench-Science, जिसमें GPT-6 Astra (max) 63% के साथ सबसे आगे है, उसके बाद Claude Opus 5.5 (max) 59% पर है।
• अपग्रेड: HLE-Diamond ने Humanity's Last Exam की जगह ली है (Claude Opus 5.5 (max) 68% के साथ सबसे आगे है, GPT-6 Astra (max) 64% पर); AA-Omniscience v1.1 उसके ज्ञान और हैलुसिनेशन परीक्षण का साफ़ किया हुआ संस्करण है; और CritPt v2 को 40 कठिन प्रश्नों के निजी सबसेट पर स्कोर किया जाता है।
• वेट: Knowledge Work 25%, Coding 25% (FrontierCode 2.0 15%, Terminal-Bench 4.0 10%), Science 25%।
• कोई एक मॉडल सभी नौ मूल्यांकनों में सबसे आगे नहीं है। Claude Opus 5.5 तीन में आगे है, जबकि बाकी छह में पाँच अन्य मॉडल शीर्ष पर हैं।
• ओपन-वेट मॉडल और पीछे रह गए हैं: अग्रणी Kimi K3.1 Pro (वेट अभी जारी नहीं हुए हैं) का स्कोर 46 है, जो शीर्ष स्कोर से 12 अंक पीछे है; v4.3 में यह अंतर 3 अंक था। जिन मॉडलों के वेट जारी हो चुके हैं, उनमें DeepSeek V4.1 Flash 1017 (max) और GLM-5.3 (max) 32 के साथ सबसे आगे हैं।
• प्रति इंडेक्स कार्य लागत: Claude Opus 5.5 (max) $10.04, GPT-6 Astra (max) $6.24, GPT-6.1 Sol (max) $1.27। Sol का स्कोर Opus 5.5 से 4 अंकों के भीतर है और इसकी लागत लगभग आठवें हिस्से जितनी है।
• प्रयास का स्तर ज़्यादा मायने रखता है: Opus 5.5 कम प्रयास पर 35 और अधिकतम प्रयास पर 58 स्कोर करता है; प्रति कार्य लागत 10 गुना है ($0.98 के मुकाबले $10.04)।
• v4.3 की तुलना में मॉडल प्रति कार्य अधिक आउटपुट टोकन इस्तेमाल करते हैं: माध्यिका 35k से बढ़कर 59k हो गई।

X पर एक रीपोस्ट में नए इंडेक्स पर GPT-6.1 Terra (max) का स्कोर 51 बताया गया है।