Cloudflare indique qu’une incompatibilité de configuration de GLM 5.3 sur Workers AI a exposé des pages de cache KV entre différentes requêtes

Le 26 octobre, Cloudflare a publié un avis de divulgation et un compte rendu des mesures correctives. L’entreprise indique qu’une incompatibilité de configuration de GLM 5.3 (@cf/zai-org/glm-5.3) sur Workers AI a déclenché un bug dans SGLang, le moteur d’inférence, qui a exposé des pages de cache KV entre différentes requêtes. La divulgation a été coordonnée avec une publication de SGLang.

Cloudflare indique que le problème a duré du lancement du modèle, le 27 août, jusqu’au 9 septembre, et que 155 réponses à des prompts de plus de 681,280 tokens contenaient des données issues de requêtes antérieures d’autres clients. L’entreprise dit n’avoir trouvé aucun signe d’exploitation délibérée et qu’aucun autre modèle de Workers AI n’a été touché.

• Cause, selon Cloudflare. GLM 5.3 a été déployé avec une fenêtre de contexte de 1,048,576 tokens, mais le pool de cache KV des GPU de préremplissage ne contenait que 681,280 tokens. En mode préremplissage/décodage désagrégé de SGLang, un prompt trop long n’était pas rejeté avec une erreur ; le nœud de décodage lisait des pages de cache qui contenaient encore les données de requêtes antérieures. Cloudflare indique avoir eu connaissance de l’incompatibilité de capacité avant le lancement, mais que ses tests vérifiaient uniquement les codes d’état HTTP et la vitesse, pas les réponses.
• Réponse. Un chercheur en sécurité, Gadi Evron, de Knostic, a signalé le problème le 8 septembre via HackerOne. Cloudflare l’a reproduit le lendemain matin, a mis le modèle hors ligne dans les 40 minutes suivant la déclaration d’un incident, puis l’a rétabli le jour même avec un pool de cache plus grand (environ 2.04 millions de tokens) et un moteur corrigé.
• Pour les opérateurs SGLang. Cloudflare recommande d’exécuter les déploiements désagrégés avec SGLang v0.5.22 ou une version ultérieure, et de vérifier la taille du pool KV par rapport à la longueur du contexte sur chaque nœud.