Cloudflare menyebut ketidakcocokan konfigurasi GLM 5.3 di Workers AI membuat halaman KV cache terekspos antarpermintaan

Cloudflare menerbitkan pengungkapan dan tulisan tentang mitigasi pada 26 Oktober. Mereka menyebut ketidakcocokan konfigurasi GLM 5.3 (@cf/zai-org/glm-5.3) di Workers AI memicu bug pada SGLang, mesin inferensi, yang membuat halaman KV cache terekspos antarpermintaan. Pengungkapan ini dikoordinasikan dengan unggahan dari SGLang.

Cloudflare menyebut masalah ini berlangsung sejak peluncuran model pada 27 Agustus hingga 9 September, dan 155 respons terhadap prompt yang lebih panjang dari 681,280 token memuat data dari permintaan sebelumnya milik pelanggan lain. Mereka menyebut tidak menemukan bukti adanya eksploitasi yang disengaja dan tidak ada model Workers AI lain yang terdampak.

• Penyebab, menurut Cloudflare. GLM 5.3 diterapkan dengan jendela konteks 1,048,576 token, tetapi pool KV cache pada GPU prefill-nya hanya menampung 681,280 token. Dalam mode prefill/decode terdisagregasi di SGLang, prompt yang terlalu panjang tidak ditolak dengan pesan kesalahan; node decode membaca halaman cache yang masih menyimpan data permintaan sebelumnya. Cloudflare menyebut mereka mengetahui ketidakcocokan ukuran tersebut sebelum peluncuran, tetapi pengujian mereka hanya memeriksa kode status HTTP dan kecepatan, bukan keluaran.
• Respons. Seorang peneliti keamanan, Gadi Evron dari Knostic, melaporkan masalah ini pada 8 September melalui HackerOne. Cloudflare mereproduksi masalah tersebut keesokan paginya, menonaktifkan model dalam waktu 40 menit setelah menyatakan adanya insiden, lalu memulihkannya pada hari yang sama dengan pool cache yang lebih besar (sekitar 2.04 juta token) dan mesin yang telah ditambal.
• Untuk operator SGLang. Cloudflare merekomendasikan agar deployment terdisagregasi dijalankan dengan SGLang v0.5.22 atau yang lebih baru, serta ukuran pool KV diperiksa terhadap panjang konteks pada setiap node.