Cloudflare afirma que un desajuste de configuración de GLM 5.3 en Workers AI expuso páginas de caché KV entre solicitudes

Cloudflare publicó el 26 de octubre un informe sobre la divulgación y las medidas correctivas. Según explicó, un desajuste de configuración de GLM 5.3 (@cf/zai-org/glm-5.3) en Workers AI activó un error en SGLang, el motor de inferencia, que expuso páginas de caché KV entre solicitudes. La divulgación se coordinó con una publicación de SGLang.

Cloudflare afirma que el problema se produjo desde el lanzamiento del modelo, el 27 de agosto, hasta el 9 de septiembre, y que 155 respuestas a prompts de más de 681.280 tokens contenían datos de solicitudes anteriores de otros clientes. Dice que no encontró indicios de explotación deliberada y que ningún otro modelo de Workers AI se vio afectado.

• Causa, según Cloudflare. GLM 5.3 se implementó con una ventana de contexto de 1.048.576 tokens, pero el pool de caché KV en sus GPU de prefill solo admitía 681.280 tokens. En el modo de prefill/decode desagregado de SGLang, los prompts que superaban el límite no se rechazaban con un error; el nodo de decode leía páginas de caché que aún contenían datos de solicitudes anteriores. Cloudflare afirma que conocía el desajuste de tamaños antes del lanzamiento, pero que sus pruebas solo verificaban los códigos de estado HTTP y la velocidad, no las respuestas.
• Respuesta. Un investigador de seguridad, Gadi Evron, de Knostic, lo notificó el 8 de septiembre a través de HackerOne. Cloudflare reprodujo el problema a la mañana siguiente, desconectó el modelo en menos de 40 minutos desde que declaró el incidente y lo restableció ese mismo día con un pool de caché más grande (de unos 2,04 millones de tokens) y un motor parcheado.
• Para operadores de SGLang. Cloudflare recomienda ejecutar implementaciones desagregadas con SGLang v0.5.22 o posterior y comprobar el tamaño del pool de KV con respecto a la longitud de contexto en cada nodo.