SemiAnalysis: Lange Kontexte erhöhen die Latenz bei Claude Opus 5.5 mit Cache kaum, Kaltstarts kosten jedoch Zeit
SemiAnalysis hat die Zeit bis zum ersten Token (TTFT) anhand der eigenen internen Nutzung von Claude Opus 5.5 gemessen: 632.000 Anfragen zwischen dem 6. Oktober und dem 8. November. Das sind die Zahlen des Unternehmens aus dem eigenen Traffic, kein Benchmark eines Anbieters.
- Mit einem gecachten Kontext stieg die mediane TTFT (p50) von 0,9 s bei 50–100.000 Tokens auf 1,6 s bei mehr als 600.000 Tokens.
- Bei mehr als 600.000 Tokens betrug die mediane TTFT (p50) ohne Cache 3,5 s gegenüber 1,6 s mit Cache, also etwa das Doppelte. Beim 90. Perzentil (p90) war der Unterschied 3,5-fach: 10,7 s ohne Cache gegenüber 3,1 s mit Cache. „Ohne Cache“ bedeutet, dass mehr als 50.000 Tokens von Grund auf verarbeitet werden mussten.
- Nur 1,8 % der Anfragen waren nicht gecacht, doch die erneute Verarbeitung ihres Kontexts machte etwa 15 % der Ausgaben für Opus 5.5 aus. Meist handelte es sich um neue Subagenten, die von Grund auf starteten; bei 12 % der Sitzungen kostete die Wiederaufnahme nach mehr als einer Stunde Inaktivität etwa 3 $.
Der Thread erhielt am 17. November auf X 29 Punkte und 15 Kommentare.
Quellen
- Macht ein größerer Kontext Ihren Agenten langsamer?X · 15 Kommentare
News wie diese als Push.
AI Tracker benachrichtigt dich, wenn sich bei deinen Tools etwas ändert.