Cloudflare сообщает, что несоответствие конфигурации GLM 5.3 в Workers AI привело к утечке страниц KV-кэша между запросами

26 октября Cloudflare опубликовала уведомление об инциденте и описание исправления. В нём говорится, что несоответствие конфигурации GLM 5.3 (@cf/zai-org/glm-5.3) в Workers AI вызвало ошибку в SGLang, движке инференса, из-за которой страницы KV-кэша между запросами становились доступны. Уведомление было согласовано с публикацией SGLang.

По данным Cloudflare, проблема существовала с запуска модели 27 августа по 9 сентября. В 155 ответах на запросы длиной более 681 280 токенов содержались данные из предыдущих запросов других клиентов. Cloudflare заявляет, что не обнаружила признаков преднамеренной эксплуатации и что другие модели Workers AI не пострадали.

• Причина, по данным Cloudflare. GLM 5.3 развернули с контекстным окном на 1 048 576 токенов, но пул KV-кэша на GPU предварительного заполнения вмещал только 681 280 токенов. В режиме раздельного предварительного заполнения и декодирования SGLang запросы, превышавшие лимит, не отклонялись с ошибкой: узел декодирования считывал страницы кэша, в которых оставались данные предыдущих запросов. Cloudflare сообщает, что знала о несоответствии размеров до запуска, но при тестировании проверяла только коды состояния HTTP и скорость, а не содержимое ответов.
• Реагирование. Исследователь безопасности Gadi Evron из Knostic сообщил о проблеме 8 сентября через HackerOne. На следующее утро Cloudflare воспроизвела её, отключила модель в течение 40 минут после объявления об инциденте, а в тот же день восстановила её с увеличенным пулом кэша (около 2,04 миллиона токенов) и исправленной версией движка.
• Операторам SGLang. Cloudflare рекомендует использовать в раздельных развертываниях SGLang версии v0.5.22 или новее и проверять соответствие размера пула KV-кэша длине контекста на каждом узле.