AI TrackerTélécharger
← Toutes les actus

SemiAnalysis : les longs contextes ajoutent peu de latence sur Claude Opus 5.5 lorsqu’ils sont mis en cache, mais les démarrages à froid ont un coût

SemiAnalysis a mesuré le temps jusqu’au premier jeton (TTFT) à partir de son utilisation interne de Claude Opus 5.5 : 632 000 requêtes effectuées entre le 6 octobre et le 8 novembre. Ces chiffres proviennent du trafic de l’entreprise, et non d’un benchmark du fournisseur.

  • Avec un contexte mis en cache, le TTFT médian (p50) est passé de 0,9 s pour 50 à 100 k jetons à 1,6 s pour plus de 600 k jetons.
  • Au-delà de 600 k jetons, le TTFT médian (p50) était de 3,5 s sans mise en cache, contre 1,6 s avec mise en cache, soit environ le double. Au 90e percentile (p90), l’écart était de 3,5 fois : 10,7 s sans mise en cache, contre 3,1 s avec mise en cache. « Sans mise en cache » signifie que plus de 50 k jetons ont dû être traités depuis le début.
  • Seules 1,8 % des requêtes n’étaient pas mises en cache, mais le retraitement de leur contexte représentait environ 15 % des dépenses consacrées à Opus 5.5. La plupart provenaient de nouveaux sous-agents qui démarraient de zéro, et 12 % des sessions ont coûté environ 3 $ pour reprendre après plus d’une heure d’inactivité.

Le fil comptait 29 points et 15 commentaires sur X le 17 novembre.

Recevez ce genre d'actus en notification.

AI Tracker vous prévient dès que quelque chose change pour les outils que vous utilisez.

Télécharger l'app