Cloudflare afferma che un mismatch di configurazione di GLM 5.3 su Workers AI ha esposto pagine della cache KV tra richieste

Il 26 ottobre Cloudflare ha pubblicato una nota sulla divulgazione e sulla risoluzione del problema, spiegando che un mismatch di configurazione di GLM 5.3 (@cf/zai-org/glm-5.3) su Workers AI ha causato un bug in SGLang, il motore di inferenza, che ha esposto pagine della cache KV tra richieste. La divulgazione è stata coordinata con un post di SGLang.

Cloudflare afferma che il problema si è verificato dal lancio del modello, il 27 agosto, fino al 9 settembre e che 155 risposte a prompt di oltre 681.280 token contenevano dati di richieste precedenti di altri clienti. Afferma di non aver trovato prove di uno sfruttamento deliberato e che nessun altro modello di Workers AI è stato coinvolto.

• Causa, secondo Cloudflare. GLM 5.3 era stato distribuito con una finestra di contesto di 1.048.576 token, ma il pool della cache KV sulle GPU di prefill conteneva solo 681.280 token. Nella modalità disaggregata di prefill/decode di SGLang, un prompt troppo lungo non veniva rifiutato con un errore; il nodo di decode leggeva pagine della cache che contenevano ancora dati di richieste precedenti. Cloudflare afferma di essere a conoscenza del mismatch di dimensioni prima del lancio, ma che i test verificavano solo i codici di stato HTTP e la velocità, non l'output.
• Risposta. L'8 settembre, un ricercatore di sicurezza, Gadi Evron di Knostic, ha segnalato il problema tramite HackerOne. Cloudflare è riuscita a riprodurlo la mattina seguente, ha messo offline il modello entro 40 minuti dalla dichiarazione dell'incidente e lo ha ripristinato quello stesso giorno con un pool della cache più capiente (circa 2,04 milioni di token) e un motore aggiornato con una patch.
• Per gli operatori di SGLang. Cloudflare consiglia di usare SGLang v0.5.22 o versioni successive per le distribuzioni disaggregate e di verificare su ogni nodo che la dimensione del pool KV corrisponda alla lunghezza del contesto.