SGLang cho biết hiện đã ngang bằng engine DeepInfer của DeepSeek trên DeepSeek-V4.1-Flash
Dự án SGLang cho biết engine suy luận của họ hiện đã ngang bằng DeepInfer, engine riêng của DeepSeek, về cả prefill lẫn decode trên DeepSeek-V4.1-Flash. Vài giờ sau khi vLLM đưa ra tuyên bố tương tự, SGLang báo cáo thông lượng prefill đạt mức tối đa 1.04× DeepInfer trên 4× GB300 và 4× B300, cùng thông lượng decode cao hơn tối đa 7.4% trên 64× GB300.
SGLang cũng cho biết họ cung cấp hướng dẫn tái tạo từ đầu đến cuối và toàn bộ stack phục vụ để triển khai cấu hình này trong môi trường production. Các số liệu do chính SGLang công bố và chưa được kiểm chứng độc lập. Đến ngày 24 tháng 10, bài đăng có khoảng 149 lượt thích trên X.
Nguồn
Nhận tin như thế này qua thông báo đẩy.
AI Tracker báo cho bạn khi công cụ bạn dùng có thay đổi.