Artificial Analysis ने अपने API प्रदर्शन बेंचमार्क का मुख्य मापदंड Time per Task बनाया

Artificial Analysis ने अपने API प्रदर्शन बेंचमार्क का नया संस्करण घोषित किया। इसमें लगभग 1,000 सर्वरलेस एंडपॉइंट शामिल हैं, जिनकी गति, लेटेंसी और कैशिंग के लिए दिन में कई बार जाँच की जाती है। Time per Task—यानी किसी काम को पूरा करने में मॉडल को लगने वाला समय—अब मुख्य मापदंड के रूप में स्ट्रीमिंग गति की जगह लेता है। Artificial Analysis, Intelligence Index के प्रत्येक टास्क के लिए मॉडल के आउटपुट टोकन को उसकी End-to-End Output Speed से विभाजित करता है।

इसमें बताए गए बदलाव:

• End-to-End Output Speed अब अनुरोध भेजने से लेकर अंतिम टोकन आने तक मापी जाती है, इसलिए पहले टोकन से पहले का इंतज़ार (prefill और छिपी हुई रीजनिंग) भी इसमें गिना जाता है। आउटपुट टोकन अब o200k_base tokenizer के बजाय हर प्रदाता के API में बताई गई गिनती से लिए जाते हैं। एक जवाब में यह भी जोड़ा गया है कि विफल अनुरोधों की गति अब 0 मानी जाती है।
• Agentic workloads अब हर मापन का हिस्सा हैं: छोटे, दस्तावेज़-लंबाई वाले और लंबे-संदर्भ वाले प्रॉम्प्ट, साथ ही कई चरणों वाले कोडिंग और ज्ञान-आधारित काम के सत्र। मुख्य आँकड़े पिछले 5 दिनों के इन मापों का औसत हैं।
• API default effort को उच्चतम effort के साथ बेंचमार्क किया जाता है। हर लैब की अपनी डिफ़ॉल्ट सेटिंग इस्तेमाल होती है, क्योंकि अलग-अलग लैब के effort नामों की तुलना नहीं की जा सकती।

Artificial Analysis के निष्कर्ष:

• Intelligence बनाम Time per Task के Pareto frontier में OpenAI के मॉडल सबसे अधिक हैं। अधिकतम effort पर GPT-6 Astra 51 tokens/s की गति से चलता है, लेकिन एक टास्क पूरा करने में लगभग 17 मिनट लेता है। इसके मुकाबले Claude Opus 5.5 को लगभग 26 मिनट (111 tokens/s) और Gemini 4 Carbon को लगभग 29 मिनट (71 tokens/s) लगते हैं, क्योंकि GPT-6 Astra प्रति टास्क लगभग 50k आउटपुट टोकन इस्तेमाल करता है, जबकि दूसरे मॉडल लगभग 120k से 170k तक इस्तेमाल करते हैं।
• डिफ़ॉल्ट effort से GPT-6 Astra, GPT-6.1 Sol और Claude Opus 5.5 के लिए Time per Task लगभग 3 से 5 गुना और Cost per Task लगभग 2 से 4 गुना कम हो जाता है। ये तीनों डिफ़ॉल्ट रूप से medium effort पर चलते हैं। इसकी कीमत Intelligence Index में लगभग 5 से 11 अंकों की कमी है। Claude Opus 5.5 के लिए अधिकतम effort पर प्रति टास्क समय और लागत लगभग 26 मिनट और $10.04 से घटकर medium पर लगभग 6.8 मिनट और $2.45 हो जाती है।
• सिर्फ़ decode गति के लिए अनुकूलित एंडपॉइंट्स में End-to-End Output Speed की सबसे ज़्यादा गिरावट आती है। रिपोर्ट के मुताबिक, सबसे तेज़ स्ट्रीमिंग वाले GLM-5.3 एंडपॉइंट्स को पहला टोकन देने में 18 से 26 सेकंड लगते हैं।

ये Artificial Analysis के अपने मापन हैं।