AI TrackerDownload
← Al het nieuws

SemiAnalysis: lange contexten voegen bij gecachte prompts weinig latentie toe aan Claude Opus 5.5, maar een koude start kost tijd

SemiAnalysis mat de tijd tot het eerste token (TTFT) op basis van het eigen interne gebruik van Claude Opus 5.5: 632K verzoeken tussen 6 oktober en 8 november. Dit zijn cijfers van het eigen verkeer van het bedrijf, geen benchmark van een leverancier.

  • Met een gecachte context steeg de p50-TTFT van 0,9 s bij 50–100K tokens naar 1,6 s bij 600K+ tokens.
  • Bij 600K+ tokens was de p50-TTFT 3,5 s zonder cache tegenover 1,6 s met cache, ongeveer 2× zo lang. Bij p90 was het verschil 3,5×: 10,7 s zonder cache tegenover 3,1 s met cache. ‘Zonder cache’ betekent dat meer dan 50K tokens vanaf nul moesten worden verwerkt.
  • Slechts 1,8% van de verzoeken viel in die categorie, maar het opnieuw verwerken van de context was goed voor ongeveer 15% van de uitgaven aan Opus 5.5. De meeste gevallen waren nieuwe subagents die vanaf nul begonnen, en voor 12% van de sessies kostte hervatten na meer dan een uur inactiviteit ongeveer $3.

De thread had op 17 november 29 punten en 15 reacties op X.

Krijg nieuws als dit als pushmelding.

AI Tracker waarschuwt je zodra er iets verandert aan de tools die je gebruikt.

Download de app