Cloudflare cho biết cấu hình GLM 5.3 không khớp trên Workers AI đã làm lộ các trang bộ nhớ đệm KV giữa các yêu cầu

Ngày 26 tháng 10, Cloudflare công bố thông tin tiết lộ sự cố và bài viết về cách khắc phục, cho biết cấu hình không khớp của GLM 5.3 (@cf/zai-org/glm-5.3) trên Workers AI đã gây ra lỗi trong SGLang, công cụ suy luận, khiến các trang bộ nhớ đệm KV bị lộ giữa các yêu cầu. Cloudflare phối hợp công bố thông tin này cùng bài đăng của SGLang.

Cloudflare cho biết sự cố diễn ra từ khi mô hình ra mắt ngày 27 tháng 8 đến ngày 9 tháng 9; 155 phản hồi cho các lời nhắc dài hơn 681,280 token có chứa dữ liệu từ những yêu cầu trước đó của khách hàng khác. Công ty nói rằng không tìm thấy bằng chứng về việc khai thác có chủ đích và không có mô hình Workers AI nào khác bị ảnh hưởng.

• Nguyên nhân, theo Cloudflare. GLM 5.3 được triển khai với cửa sổ ngữ cảnh 1,048,576 token, nhưng nhóm bộ nhớ đệm KV trên các GPU prefill chỉ chứa được 681,280 token. Ở chế độ prefill/decode tách rời của SGLang, lời nhắc vượt quá giới hạn không bị từ chối kèm thông báo lỗi; nút decode đọc các trang bộ nhớ đệm vẫn còn dữ liệu của những yêu cầu trước. Cloudflare cho biết họ đã biết về sự chênh lệch kích thước trước khi ra mắt, nhưng các bài kiểm tra chỉ kiểm tra mã trạng thái HTTP và tốc độ, chứ không kiểm tra đầu ra.
• Ứng phó. Ngày 8 tháng 9, nhà nghiên cứu bảo mật Gadi Evron của Knostic báo cáo sự cố qua HackerOne. Cloudflare tái hiện được lỗi vào sáng hôm sau, đưa mô hình ngoại tuyến trong vòng 40 phút sau khi tuyên bố có sự cố, rồi khôi phục mô hình trong ngày với nhóm bộ nhớ đệm lớn hơn (khoảng 2.04 triệu token) và công cụ đã được vá.
• Dành cho đơn vị vận hành SGLang. Cloudflare khuyến nghị chạy các triển khai tách rời trên SGLang v0.5.22 trở lên và kiểm tra kích thước nhóm KV so với độ dài ngữ cảnh trên mọi nút.