Cloudflare zufolge legte eine Konfigurationsabweichung bei GLM 5.3 auf Workers AI KV-Cache-Seiten anfrageübergreifend offen

Cloudflare veröffentlichte am 26. Oktober eine Offenlegung und einen Bericht zu den ergriffenen Maßnahmen. Darin heißt es, dass eine Konfigurationsabweichung bei GLM 5.3 (@cf/zai-org/glm-5.3) auf Workers AI einen Fehler in SGLang, der Inferenz-Engine, auslöste, durch den KV-Cache-Seiten über Anfragen hinweg offengelegt wurden. Die Offenlegung wurde mit einem Beitrag von SGLang abgestimmt.

Cloudflare zufolge bestand das Problem vom Start des Modells am 27. August bis zum 9. September. 155 Antworten auf Prompts mit mehr als 681.280 Tokens enthielten Daten aus früheren Anfragen anderer Kunden. Cloudflare gibt an, keine Hinweise auf eine gezielte Ausnutzung gefunden zu haben und dass kein anderes Workers-AI-Modell betroffen war.

• Ursache laut Cloudflare. GLM 5.3 wurde mit einem Kontextfenster von 1.048.576 Tokens bereitgestellt, doch der KV-Cache-Pool auf den Prefill-GPUs fasste nur 681.280 Tokens. Im disaggregierten Prefill-/Decode-Modus von SGLang wurde ein zu langer Prompt nicht mit einem Fehler zurückgewiesen; stattdessen las der Decode-Knoten Cache-Seiten aus, auf denen noch Daten früherer Anfragen lagen. Cloudflare zufolge war die Größenabweichung vor dem Start bekannt, doch die Tests prüften nur HTTP-Statuscodes und Geschwindigkeit, nicht die Ausgabe.
• Reaktion. Der Sicherheitsforscher Gadi Evron von Knostic meldete das Problem am 8. September über HackerOne. Cloudflare reproduzierte es am nächsten Morgen, nahm das Modell innerhalb von 40 Minuten nach der Einstufung als Sicherheitsvorfall offline und stellte es noch am selben Tag mit einem größeren Cache-Pool (etwa 2,04 Millionen Tokens) und einer gepatchten Engine wieder bereit.
• Für SGLang-Betreiber. Cloudflare empfiehlt, disaggregierte Deployments mit SGLang v0.5.22 oder höher zu betreiben und die Größe des KV-Pools auf jedem Knoten mit der Kontextlänge abzugleichen.