SemiAnalysis: konteks panjang hanya sedikit menambah latensi pada Claude Opus 5.5 jika di-cache, tetapi cold start memerlukan biaya
SemiAnalysis mengukur waktu hingga token pertama (TTFT) berdasarkan penggunaan internal Claude Opus 5.5: 632K permintaan yang berlangsung antara 6 Oktober dan 8 November. Ini adalah angka dari lalu lintas perusahaan itu sendiri, bukan tolok ukur vendor.
- Dengan konteks yang di-cache, p50 TTFT naik dari 0,9 dtk pada 50–100K token menjadi 1,6 dtk pada 600K+ token.
- Pada 600K+ token, p50 TTFT adalah 3,5 dtk tanpa cache dibandingkan 1,6 dtk dengan cache, sekitar 2x. Pada p90 selisihnya 3,5x: 10,7 dtk tanpa cache dibandingkan 3,1 dtk dengan cache. "Tanpa cache" berarti lebih dari 50K token harus diproses dari awal.
- Hanya 1,8% permintaan yang tidak di-cache, tetapi pemrosesan ulang konteksnya menghabiskan sekitar 15% dari biaya Opus 5.5. Sebagian besar berasal dari subagen baru yang memulai dari awal, dan 12% sesi membayar sekitar $3 untuk melanjutkan setelah tidak aktif selama lebih dari satu jam.
Utas tersebut mendapat 29 poin dan 15 komentar di X pada 17 November.
Sumber
Dapatkan berita seperti ini lewat push.
AI Tracker memberi tahu Anda saat ada perubahan pada alat yang Anda pakai.