Cloudflare meldt dat een configuratiemismatch bij GLM 5.3 op Workers AI KV-cachepagina’s tussen verzoeken blootlegde

Cloudflare publiceerde op 26 oktober een toelichting op het incident en de herstelmaatregelen. Volgens het bedrijf veroorzaakte een configuratiemismatch bij GLM 5.3 (@cf/zai-org/glm-5.3) op Workers AI een bug in SGLang, de inferentie-engine, waardoor KV-cachepagina’s tussen verzoeken werden blootgelegd. De toelichting verscheen gelijktijdig met een bericht van SGLang.

Cloudflare zegt dat het probleem zich voordeed vanaf de lancering van het model op 27 augustus tot en met 9 september. 155 antwoorden op prompts van meer dan 681.280 tokens bevatten gegevens uit eerdere verzoeken van andere klanten. Het bedrijf zegt geen aanwijzingen voor opzettelijke uitbuiting te hebben gevonden en dat geen ander Workers AI-model is getroffen.

• Oorzaak, volgens Cloudflare. GLM 5.3 werd uitgerold met een contextvenster van 1.048.576 tokens, maar de KV-cachepool op de prefill-GPU’s bood ruimte aan slechts 681.280 tokens. In de gedisaggregeerde prefill-/decode-modus van SGLang werd een te lange prompt niet met een foutmelding afgewezen; het decoderingknooppunt las cachepagina’s waarin nog gegevens van eerdere verzoeken stonden. Cloudflare zegt vóór de lancering op de afwijkende omvang te hebben gewezen, maar de tests controleerden alleen HTTP-statuscodes en snelheid, niet de uitvoer.
• Reactie. Beveiligingsonderzoeker Gadi Evron van Knostic meldde het probleem op 8 september via HackerOne. Cloudflare wist het de volgende ochtend te reproduceren, haalde het model binnen 40 minuten na het uitroepen van een incident offline en herstelde het die dag met een grotere cachepool (ongeveer 2,04 miljoen tokens) en een gepatchte engine.
• Voor SGLang-beheerders. Cloudflare raadt aan gedisaggregeerde deployments uit te voeren met SGLang v0.5.22 of hoger en op elk knooppunt de KV-poolgrootte te controleren aan de hand van de contextlengte.