SemiAnalysis: los contextos largos apenas añaden latencia a Claude Opus 5.5 cuando están en caché, pero los arranques en frío cuestan
SemiAnalysis midió el tiempo hasta el primer token (TTFT) a partir de su propio uso interno de Claude Opus 5.5: 632K solicitudes entre el 6 de octubre y el 8 de noviembre. Estas son cifras de la empresa basadas en su propio tráfico, no un benchmark del proveedor.
- Con el contexto en caché, la mediana del TTFT pasó de 0,9 s con 50–100K tokens a 1,6 s con más de 600K tokens.
- Con más de 600K tokens, la mediana del TTFT fue de 3,5 s sin caché, frente a 1,6 s con caché: aproximadamente el doble. En el percentil 90, la diferencia fue de 3,5 veces: 10,7 s sin caché, frente a 3,1 s con caché. «Sin caché» significa que hubo que procesar desde cero más de 50K tokens.
- Solo el 1,8 % de las solicitudes estaban en esa situación, pero volver a procesar su contexto representó alrededor del 15 % del gasto en Opus 5.5. La mayoría eran subagentes nuevos que empezaban desde cero, y el 12 % de las sesiones pagó unos 3 $ para reanudarse tras más de una hora de inactividad.
El hilo tuvo 29 puntos y 15 comentarios en X el 17 de noviembre.
Fuentes
- ¿Un contexto más grande hace que tu agente tarde más en responder?X · 15 comentarios
Recibe noticias como esta por push.
AI Tracker te avisa cuando algo cambia en las herramientas que usas.