SemiAnalysis: длинный контекст почти не увеличивает задержку в Claude Opus 5.5 при использовании кэша, но холодный старт обходится дорого
SemiAnalysis измерила время до первого токена (TTFT) по данным собственного использования Claude Opus 5.5: 632 тыс. запросов, отправленных с 6 октября по 8 ноября. Это показатели компании по её собственному трафику, а не бенчмарк поставщика.
- При использовании кэшированного контекста медианное TTFT выросло с 0,9 с при 50–100 тыс. токенов до 1,6 с при 600 тыс. и более.
- При 600 тыс. токенов и более медианное TTFT составило 3,5 с без кэша против 1,6 с с кэшем — примерно в 2 раза больше. На уровне p90 разница достигла 3,5 раза: 10,7 с без кэша против 3,1 с с кэшем. «Без кэша» означает, что более 50 тыс. токенов пришлось обработать с нуля.
- На такие запросы без кэша пришлось лишь 1,8% от общего числа, но повторная обработка их контекста составила около 15% расходов на Opus 5.5. Большинство из них приходилось на новых субагентов, запускавшихся с нуля; в 12% сессий около $3 уходило на возобновление работы после простоя более часа.
17 ноября у этой ветки на X было 29 баллов и 15 комментариев.
Источники
- Увеличивает ли большой контекст время отклика вашего агента?X · 15 комментариев
Получайте такие новости в push.
AI Tracker сообщит, когда что-то меняется в ваших инструментах.