Arena के Agent Arena में अब आउटपुट टोकन और प्रतीक्षा समय के मुकाबले प्रदर्शन के ग्राफ़

लीडरबोर्ड प्रकाशित करने वाली Arena का कहना है कि उसके Agent Arena में अब यह दिखाया जाता है कि टास्क पर होने वाले खर्च के अलावा, हर जनरेट किए गए आउटपुट टोकन और उपयोगकर्ता के प्रतीक्षा के हर मिनट के हिसाब से कौन-से एजेंट सबसे बेहतर प्रदर्शन करते हैं। Arena का कहना है कि बुद्धिमत्ता का समान स्तर 10× अधिक महँगा हो सकता है, इसके लिए 6× अधिक आउटपुट टोकन की ज़रूरत पड़ सकती है और इसमें दोगुना समय लग सकता है।

Arena पर वास्तविक इस्तेमाल से तैयार किए गए इन ग्राफ़ों के आधार पर, उसका कहना है कि बुद्धिमत्ता बढ़ने के साथ लागत सबसे तेज़ी से बढ़ती है, अधिक देर तक प्रतीक्षा करने का लाभ हर बार समान नहीं होता और आउटपुट टोकन से बिल का अनुमान बमुश्किल लगता है। ये आँकड़े Arena के अपने हैं। ग्राफ़ arena.ai पर Agent Arena के Pareto लीडरबोर्ड में देखे जा सकते हैं।