AI Tracker앱 받기
← 전체 뉴스
Anthropic모델인프라

SemiAnalysis: 캐시된 경우 Claude Opus 5.5에서 긴 컨텍스트도 지연을 거의 늘리지 않지만, 콜드 스타트에는 비용이 든다

SemiAnalysis는 자체적으로 Claude Opus 5.5를 사용하며 측정한 첫 토큰까지의 시간(TTFT)을 공개했습니다. 10월 6일부터 11월 8일까지 632K건의 요청을 대상으로 했습니다. 이는 해당 업체의 자체 트래픽에서 나온 수치이지, 공급업체의 벤치마크가 아닙니다.

  • 컨텍스트가 캐시된 경우 p50 TTFT는 토큰 50–100K에서 0.9초, 600K 이상에서 1.6초로 늘었습니다.
  • 토큰 600K 이상에서 p50 TTFT는 캐시되지 않은 경우 3.5초, 캐시된 경우 1.6초로 약 2배 차이가 났습니다. p90에서는 그 격차가 3.5배였습니다. 캐시되지 않은 경우 10.7초, 캐시된 경우 3.1초였습니다. ‘캐시되지 않음’은 토큰 50K 초과 분량을 처음부터 처리해야 했다는 뜻입니다.
  • 요청 중 그렇게 캐시되지 않은 경우는 1.8%에 불과했지만, 해당 컨텍스트를 다시 처리하는 데 Opus 5.5 지출액의 약 15%가 들었습니다. 대부분은 처음부터 시작하는 새 하위 에이전트였으며, 세션의 12%는 한 시간 넘게 유휴 상태였다가 재개하는 데 약 $3를 지불했습니다.

이 스레드는 11월 17일 X에서 게시물 29개와 댓글 15개를 기록했습니다.

이런 뉴스를 푸시로 받아보세요.

사용하는 도구에 변화가 생기면 AI Tracker가 알려드립니다.

앱 받기