Cloudflare, Workers AI’daki GLM 5.3 kurulum uyuşmazlığının istekler arasında KV önbellek sayfalarını açığa çıkardığını söylüyor

Cloudflare, 26 Ekim’de yayımladığı açıklama ve düzeltme yazısında, Workers AI’daki GLM 5.3 (@cf/zai-org/glm-5.3) yapılandırma uyuşmazlığının çıkarım motoru SGLang’da, istekler arasında KV önbellek sayfalarını açığa çıkaran bir hatayı tetiklediğini söyledi. Açıklama, SGLang’ın bir paylaşımıyla eşgüdümlü olarak yapıldı.

Cloudflare, sorunun modelin 27 Ağustos’taki lansmanından 9 Eylül’e kadar sürdüğünü ve 681.280 token’dan uzun istemlere verilen 155 yanıtın diğer müşterilerin önceki isteklerinden veri içerdiğini söylüyor. Kasıtlı bir kötüye kullanıma dair kanıt bulmadığını ve Workers AI’daki başka hiçbir modelin etkilenmediğini belirtiyor.

• Neden, Cloudflare’a göre. GLM 5.3, 1.048.576 token’lık bağlam penceresiyle dağıtıldı; ancak ön doldurma GPU’larındaki KV önbellek havuzu yalnızca 681.280 token tutabiliyordu. SGLang’ın ayrıştırılmış ön doldurma/çözümleme modunda, sınırı aşan bir istem hata verilerek reddedilmedi; çözümleme düğümü, önceki isteklere ait verileri hâlâ tutan önbellek sayfalarını okudu. Cloudflare, lansmandan önce boyut uyuşmazlığını bildiğini, ancak testlerinin çıktıyı değil yalnızca HTTP durum kodlarını ve hızı kontrol ettiğini söylüyor.
• Müdahale. Knostic’ten güvenlik araştırmacısı Gadi Evron, durumu 8 Eylül’de HackerOne üzerinden bildirdi. Cloudflare ertesi sabah sorunu yeniden oluşturdu, olay ilan ettikten sonraki 40 dakika içinde modeli devre dışı bıraktı ve aynı gün daha büyük bir önbellek havuzu (yaklaşık 2,04 milyon token) ve yamalı bir motorla yeniden kullanıma açtı.
• SGLang operatörlerine. Cloudflare, ayrıştırılmış dağıtımların SGLang v0.5.22 veya daha yeni bir sürümde çalıştırılmasını ve her düğümde KV havuzu boyutunun bağlam uzunluğuyla karşılaştırılarak kontrol edilmesini öneriyor.