AI TrackerСкачать
← Все новости

SemiAnalysis: длинный контекст почти не увеличивает задержку в Claude Opus 5.5 при использовании кэша, но холодный старт обходится дорого

SemiAnalysis измерила время до первого токена (TTFT) по данным собственного использования Claude Opus 5.5: 632 тыс. запросов, отправленных с 6 октября по 8 ноября. Это показатели компании по её собственному трафику, а не бенчмарк поставщика.

  • При использовании кэшированного контекста медианное TTFT выросло с 0,9 с при 50–100 тыс. токенов до 1,6 с при 600 тыс. и более.
  • При 600 тыс. токенов и более медианное TTFT составило 3,5 с без кэша против 1,6 с с кэшем — примерно в 2 раза больше. На уровне p90 разница достигла 3,5 раза: 10,7 с без кэша против 3,1 с с кэшем. «Без кэша» означает, что более 50 тыс. токенов пришлось обработать с нуля.
  • На такие запросы без кэша пришлось лишь 1,8% от общего числа, но повторная обработка их контекста составила около 15% расходов на Opus 5.5. Большинство из них приходилось на новых субагентов, запускавшихся с нуля; в 12% сессий около $3 уходило на возобновление работы после простоя более часа.

17 ноября у этой ветки на X было 29 баллов и 15 комментариев.

Получайте такие новости в push.

AI Tracker сообщит, когда что-то меняется в ваших инструментах.

Скачать приложение