SemiAnalysis: długie konteksty niewiele zwiększają opóźnienie w Claude Opus 5.5 przy użyciu cache, ale zimny start kosztuje
SemiAnalysis zmierzyło czas do pierwszego tokenu (TTFT) na podstawie własnego, wewnętrznego wykorzystania Claude Opus 5.5: 632 tys. żądań zrealizowanych między 6 października a 8 listopada. To dane firmy pochodzące z jej własnego ruchu, a nie test porównawczy dostawcy.
- Przy kontekście z cache mediana TTFT wzrosła z 0,9 s przy 50–100 tys. tokenów do 1,6 s przy ponad 600 tys. tokenów.
- Przy ponad 600 tys. tokenów mediana TTFT wyniosła 3,5 s bez cache i 1,6 s z cache, czyli około 2 razy więcej. Przy p90 różnica była 3,5-krotna: 10,7 s bez cache wobec 3,1 s z cache. „Bez cache” oznacza, że ponad 50 tys. tokenów trzeba było przetworzyć od początku.
- Tylko 1,8% żądań nie korzystało z cache, ale ponowne przetwarzanie ich kontekstu stanowiło około 15% wydatków firmy na Opus 5.5. Większość dotyczyła nowych podagentów rozpoczynających pracę od zera, a 12% sesji wiązało się z opłatą około 3 USD za wznowienie po ponad godzinie bezczynności.
17 listopada wątek na X miał 29 punktów i 15 komentarzy.
Źródła
- Czy większy kontekst spowalnia odpowiedzi Twojego agenta?X · 15 komentarzy
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.