Cloudflare informuje, że niezgodność konfiguracji GLM 5.3 w Workers AI spowodowała ujawnienie stron pamięci podręcznej KV między żądaniami

26 października Cloudflare opublikowało ujawnienie problemu i opis jego naprawy. Firma poinformowała, że niezgodność konfiguracji GLM 5.3 (@cf/zai-org/glm-5.3) w Workers AI wywołała błąd w SGLang, silniku inferencyjnym, który ujawniał strony pamięci podręcznej KV między żądaniami. Ujawnienie skoordynowano z wpisem SGLang.

Cloudflare informuje, że problem występował od premiery modelu 27 sierpnia do 9 września, a 155 odpowiedzi na prompty dłuższe niż 681,280 tokenów zawierało dane z wcześniejszych żądań innych klientów. Firma nie znalazła dowodów na celowe wykorzystanie błędu i twierdzi, że problem nie dotyczył żadnego innego modelu Workers AI.

• Przyczyna według Cloudflare. GLM 5.3 wdrożono z oknem kontekstowym o długości 1,048,576 tokenów, ale pula pamięci podręcznej KV na procesorach GPU obsługujących prefill mieściła tylko 681,280 tokenów. W rozproszonym trybie prefill/decode SGLang prompt przekraczający limit nie był odrzucany z błędem; węzeł decode odczytywał strony pamięci podręcznej, na których nadal znajdowały się dane z wcześniejszych żądań. Cloudflare twierdzi, że przed premierą wiedziało o niezgodności rozmiarów, ale testy sprawdzały tylko kody statusu HTTP i szybkość, a nie wyniki.
• Reakcja. Badacz bezpieczeństwa Gadi Evron z Knostic zgłosił problem 8 września przez HackerOne. Cloudflare odtworzyło go następnego ranka, wyłączyło model w ciągu 40 minut od ogłoszenia incydentu, a tego samego dnia przywróciło go z większą pulą pamięci podręcznej (około 2.04 miliona tokenów) i poprawionym silnikiem.
• Dla operatorów SGLang. Cloudflare zaleca uruchamianie wdrożeń rozproszonych na SGLang v0.5.22 lub nowszym oraz sprawdzanie rozmiaru puli KV w odniesieniu do długości kontekstu na każdym węźle.