SemiAnalysis: Claude Opus 5.5 में कैश किए जाने पर लंबे कॉन्टेक्स्ट से लेटेंसी बहुत कम बढ़ती है, लेकिन कोल्ड स्टार्ट में लागत लगती है
SemiAnalysis ने Claude Opus 5.5 के अपने आंतरिक उपयोग से पहले टोकन तक का समय (TTFT) मापा: 6 अक्टूबर से 8 नवंबर के बीच 632K अनुरोध। ये फर्म के अपने ट्रैफ़िक के आँकड़े हैं, किसी वेंडर का बेंचमार्क नहीं।
- कैश किए गए कॉन्टेक्स्ट के साथ, p50 TTFT 50–100K टोकन पर 0.9s से बढ़कर 600K+ टोकन पर 1.6s हुआ।
- 600K+ टोकन पर, p50 TTFT बिना कैश 3.5s और कैश के साथ 1.6s था—लगभग 2x। p90 पर अंतर 3.5x था: बिना कैश 10.7s और कैश के साथ 3.1s। "बिना कैश" का मतलब है कि 50K से अधिक टोकन को शुरू से प्रोसेस करना पड़ा।
- केवल 1.8% अनुरोध बिना कैश वाले थे, लेकिन उनके कॉन्टेक्स्ट को दोबारा प्रोसेस करने में Opus 5.5 पर हुए खर्च का लगभग 15% लगा। इनमें से ज़्यादातर नए सबएजेंट थे जो शुरू से काम शुरू कर रहे थे, और 12% सेशन में एक घंटे से अधिक निष्क्रिय रहने के बाद फिर से शुरू करने के लिए लगभग $3 खर्च हुए।
17 नवंबर को X पर इस थ्रेड को 29 पॉइंट और 15 टिप्पणियाँ मिलीं।
स्रोत
ऐसी ख़बरें push में पाएँ।
आपके टूल्स में कुछ बदलते ही AI Tracker आपको अलर्ट करता है।