Cloudflare का कहना है कि Workers AI पर GLM 5.3 के सेटअप में गड़बड़ी के कारण KV cache pages अनुरोधों के बीच उजागर हुए

Cloudflare ने 26 अक्टूबर को एक खुलासा और समस्या के समाधान का विवरण प्रकाशित किया। इसमें कहा गया कि Workers AI पर GLM 5.3 (@cf/zai-org/glm-5.3) के कॉन्फ़िगरेशन में गड़बड़ी के कारण inference engine SGLang में एक बग सक्रिय हुआ, जिससे KV cache pages अलग-अलग अनुरोधों के बीच उजागर हुए। Cloudflare का खुलासा SGLang की एक पोस्ट के साथ समन्वय करके किया गया था।

Cloudflare का कहना है कि यह समस्या 27 अगस्त को मॉडल के लॉन्च से लेकर 9 सितंबर तक बनी रही, और 681,280 tokens से लंबे prompts के 155 जवाबों में अन्य ग्राहकों के पुराने अनुरोधों का डेटा शामिल था। कंपनी का कहना है कि उसे जानबूझकर इसका दुरुपयोग किए जाने का कोई सबूत नहीं मिला और Workers AI का कोई अन्य मॉडल प्रभावित नहीं हुआ।

• कारण, Cloudflare के अनुसार। GLM 5.3 को 1,048,576-token context window के साथ तैनात किया गया था, लेकिन उसके prefill GPUs पर KV cache pool में केवल 681,280 tokens की जगह थी। SGLang के disaggregated prefill/decode mode में, सीमा से लंबा prompt त्रुटि के साथ अस्वीकार नहीं किया गया; इसके बजाय decode node ने वे cache pages पढ़े जिनमें पहले के अनुरोधों का डेटा मौजूद था। Cloudflare का कहना है कि लॉन्च से पहले उसे इस आकार-अंतर का पता था, लेकिन उसके परीक्षणों में केवल HTTP status codes और गति की जाँच हुई, आउटपुट की नहीं।
• कार्रवाई। Knostic के सुरक्षा शोधकर्ता Gadi Evron ने 8 सितंबर को HackerOne के ज़रिए इसकी रिपोर्ट की। Cloudflare ने अगली सुबह समस्या को दोहराकर देख लिया, incident घोषित करने के 40 मिनट के भीतर मॉडल को ऑफ़लाइन कर दिया, और उसी दिन बड़े cache pool (लगभग 2.04 million tokens) और patched engine के साथ उसे बहाल किया।
• SGLang ऑपरेटरों के लिए। Cloudflare disaggregated deployments को SGLang v0.5.22 या उसके बाद के संस्करण पर चलाने और हर node पर KV pool के आकार की तुलना context length से करने की सलाह देता है।