Cloudflare diz que incompatibilidade na configuração do GLM 5.3 no Workers AI expôs páginas do cache KV entre solicitações

Em 26 de outubro, a Cloudflare publicou um comunicado e um relato das medidas corretivas, afirmando que uma incompatibilidade de configuração no GLM 5.3 (@cf/zai-org/glm-5.3) no Workers AI acionou um bug no SGLang, o mecanismo de inferência, que expôs páginas do cache KV entre solicitações. O comunicado foi coordenado com uma publicação do SGLang.

A Cloudflare diz que o problema ocorreu desde o lançamento do modelo, em 27 de agosto, até 9 de setembro, e que 155 respostas a prompts com mais de 681,280 tokens continham dados de solicitações anteriores de outros clientes. A empresa afirma não ter encontrado evidências de exploração deliberada e diz que nenhum outro modelo do Workers AI foi afetado.

• Causa, segundo a Cloudflare. O GLM 5.3 foi implantado com uma janela de contexto de 1,048,576 tokens, mas o pool de cache KV nas GPUs de prefill comportava apenas 681,280 tokens. No modo de prefill/decode desagregado do SGLang, um prompt acima do limite não era rejeitado com um erro; o nó de decode lia páginas do cache que ainda continham dados de solicitações anteriores. A Cloudflare diz que sabia da incompatibilidade de tamanho antes do lançamento, mas seus testes verificavam apenas códigos de status HTTP e velocidade, não as respostas.
• Resposta. Em 8 de setembro, o pesquisador de segurança Gadi Evron, da Knostic, reportou o problema pelo HackerOne. A Cloudflare reproduziu o bug na manhã seguinte, tirou o modelo do ar em até 40 minutos após declarar um incidente e o restaurou naquele mesmo dia com um pool de cache maior (cerca de 2.04 milhões de tokens) e um mecanismo corrigido.
• Para operadores do SGLang. A Cloudflare recomenda executar implantações desagregadas no SGLang v0.5.22 ou posterior e verificar o tamanho do pool KV em relação ao comprimento do contexto em cada nó.