Artificial Analysis: लगभग 4 में से 1 सर्वरलेस एंडपॉइंट इसके Endpoint Accuracy Index v1.1 में संदर्भ से कम स्कोर करता है

Artificial Analysis ने अपने Endpoint Accuracy Index का v1.1 जारी किया है। यह ओपन-वेट मॉडल के हर सर्वरलेस एंडपॉइंट को उसके आधिकारिक वेट्स के सेल्फ-होस्टेड संदर्भ डिप्लॉयमेंट के प्रतिशत के रूप में स्कोर करता है। स्कोर में टूल कॉलिंग (BFCL-500), वैज्ञानिक तर्क (HLE-250) और लंबी संदर्भ-सीमा में जानकारी याद रखने (AA-LCR-25) को बराबर वज़न दिया गया है। जिन 100 से अधिक एंडपॉइंट्स का इसने बेंचमार्क किया, उनमें इसके मुताबिक लगभग 4 में से 1 का स्कोर संदर्भ से कम है।

Artificial Analysis के मुताबिक, v1.1 में ये बदलाव हुए हैं:

• AA-LCR-25 को AA-LCR v1.1 में बदला गया है, जिसमें उत्तर-कुंजी की त्रुटियाँ ठीक की गई हैं और मूल्यांकन अब GPT-5.6 Luna (medium) से होता है। अब हर सवाल 10 के बजाय 25 बार चलाया जाता है, जिससे औसत 95% कॉन्फिडेंस इंटरवल ±4.7 से घटकर ±2.6 अंक हो गया है।
• कवरेज बढ़कर छह मॉडल तक पहुँच गई है: GLM-5.3 Flash (max) और Meta का Muse Spark Open (xhigh), DeepSeek V4.1 Flash 1017 (max), GLM-5.3 (max), Kimi K3 (max) और gpt-oss-120b (high) के साथ शामिल हुए हैं।

इसके निष्कर्ष:

• GLM-5.3 Flash: 22 में से 16 एंडपॉइंट्स सांख्यिकीय रूप से संदर्भ के अनुरूप हैं और एक का स्कोर उससे अधिक (104.2) है। लगभग 32K आउटपुट टोकन तक सीमित दो एंडपॉइंट्स ने HLE-250 के लगभग आधे जवाब बीच में ही रोक दिए और संदर्भ के 55% के मुकाबले 22% और 29% स्कोर किया। दो अन्य एंडपॉइंट्स ने लगभग 30% कम रीजनिंग टोकन बनाए और 48% स्कोर किया।
• Muse Spark Open: पाँच में से तीन एंडपॉइंट्स संदर्भ से मेल खाते हैं (99.5 से 99.9), जिनमें FP4 वेट्स पर चलने वाला एक एंडपॉइंट भी शामिल है। बाकी दो की सटीकता केवल टूल कॉलिंग में घटी: उन्होंने टूल द्वारा टेक्स्ट के रूप में परिभाषित आर्ग्युमेंट, जैसे बुकिंग ID, संख्याओं के रूप में लौटाए। BFCL-500 पर उनके स्कोर 50% और 51% रहे, जबकि संदर्भ का स्कोर 59% था।
• GLM-5.3: 26 एंडपॉइंट्स के स्कोर 67.2 से 99.3 तक रहे; 16 संदर्भ के अनुरूप और 10 उससे नीचे थे। Artificial Analysis का कहना है कि सबसे बड़े अंतर आउटपुट टोकन की सीमाओं और रीजनिंग लूप्स के कारण हैं, क्वांटाइज़ेशन के कारण नहीं। छह FP4 एंडपॉइंट्स में से पाँच, FP8 संदर्भ के अनुरूप हैं।
• DeepSeek V4.1 Flash 1017: सभी 22 एंडपॉइंट्स संदर्भ के अनुरूप हैं (97.5 से 101.4)। 3.9 अंकों का यह दायरा इसे इंडेक्स का सबसे स्थिर मॉडल बनाता है।