AI TrackerBaixar o app
← Todas as notícias
AnthropicModelosInfraestrutura

SemiAnalysis: contextos longos acrescentam pouca latência ao Claude Opus 5.5 quando estão em cache, mas a inicialização a frio tem um custo

A SemiAnalysis mediu o tempo até o primeiro token (TTFT) com base no uso interno do Claude Opus 5.5: 632 mil solicitações realizadas entre 6 de outubro e 8 de novembro. Esses são números da própria empresa, baseados no tráfego dela, e não um benchmark do fornecedor.

  • Com o contexto em cache, o TTFT p50 subiu de 0,9 s com 50–100 mil tokens para 1,6 s com mais de 600 mil tokens.
  • Com mais de 600 mil tokens, o TTFT p50 foi de 3,5 s sem cache, contra 1,6 s com cache — cerca de 2 vezes mais. No p90, a diferença foi de 3,5 vezes: 10,7 s sem cache, contra 3,1 s com cache. “Sem cache” significa que mais de 50 mil tokens precisaram ser processados do zero.
  • Apenas 1,8% das solicitações estavam nessa condição, mas o reprocessamento do contexto representou cerca de 15% dos gastos com o Opus 5.5. A maioria era de novos subagentes começando do zero, e 12% das sessões pagaram cerca de US$ 3 para retomar após mais de uma hora de inatividade.

A publicação teve 29 pontos e 15 comentários no X em 17 de novembro.

Receba notícias como esta por push.

O AI Tracker avisa você quando algo muda nas ferramentas que você usa.

Baixar o app