SemiAnalysis: Önbelleğe alınmış uzun bağlamlar Claude Opus 5.5’te gecikmeyi pek artırmıyor, ancak soğuk başlangıçların maliyeti var
SemiAnalysis, Claude Opus 5.5’i kendi bünyesinde kullanırken ilk token’a kadar geçen süreyi (TTFT) ölçtü: 6 Ekim ile 8 Kasım arasında 632K istek. Bunlar firmanın kendi trafiğinden elde ettiği veriler; bir sağlayıcı kıyaslaması değil.
- Önbelleğe alınmış bir bağlamda p50 TTFT, 50–100K token’da 0,9 sn’den 600K+ token’da 1,6 sn’ye yükseldi.
- 600K+ token’da p50 TTFT, önbelleksizken 3,5 sn, önbellekliyken 1,6 sn oldu; arada yaklaşık 2 kat fark vardı. p90’da fark 3,5 kat çıktı: önbelleksizken 10,7 sn, önbellekliyken 3,1 sn. “Önbelleksiz”, 50K’dan fazla token’ın sıfırdan işlenmesi gerektiği anlamına geliyor.
- İsteklerin yalnızca %1,8’i bu tür önbelleksiz isteklerdi, ancak bağlamı yeniden işlemek Opus 5.5 harcamalarının yaklaşık %15’ini oluşturdu. Bunların çoğu sıfırdan başlayan yeni alt aracılardı; oturumların %12’sinde ise bir saatten fazla boşta kaldıktan sonra devam etmek yaklaşık 3 dolara mal oldu.
17 Kasım’da X’teki paylaşım dizisinde 29 puan ve 15 yorum vardı.
Kaynaklar
Bu tür haberleri bildirim olarak alın.
Kullandığınız araçlarda bir şey değiştiğinde AI Tracker sizi uyarır.