SemiAnalysis: contextos longos acrescentam pouca latência ao Claude Opus 5.5 quando estão em cache, mas a inicialização a frio tem um custo
A SemiAnalysis mediu o tempo até o primeiro token (TTFT) com base no uso interno do Claude Opus 5.5: 632 mil solicitações realizadas entre 6 de outubro e 8 de novembro. Esses são números da própria empresa, baseados no tráfego dela, e não um benchmark do fornecedor.
- Com o contexto em cache, o TTFT p50 subiu de 0,9 s com 50–100 mil tokens para 1,6 s com mais de 600 mil tokens.
- Com mais de 600 mil tokens, o TTFT p50 foi de 3,5 s sem cache, contra 1,6 s com cache — cerca de 2 vezes mais. No p90, a diferença foi de 3,5 vezes: 10,7 s sem cache, contra 3,1 s com cache. “Sem cache” significa que mais de 50 mil tokens precisaram ser processados do zero.
- Apenas 1,8% das solicitações estavam nessa condição, mas o reprocessamento do contexto representou cerca de 15% dos gastos com o Opus 5.5. A maioria era de novos subagentes começando do zero, e 12% das sessões pagaram cerca de US$ 3 para retomar após mais de uma hora de inatividade.
A publicação teve 29 pontos e 15 comentários no X em 17 de novembro.
Fontes
- Um contexto maior deixa seu agente mais lento para responder?X · 15 comentários
Receba notícias como esta por push.
O AI Tracker avisa você quando algo muda nas ferramentas que você usa.