vLLM cho biết hiện đã sánh ngang với engine DeepInfer của DeepSeek trên DeepSeek-V4.1-Flash

Dự án vLLM cho biết engine suy luận của họ hiện đã sánh ngang với DeepInfer, engine riêng của DeepSeek dành cho DeepSeek-V4.1-Flash, trên cấu hình giải mã của DeepSeek với kích thước batch từ 8 đến 256. Theo dự án, họ đạt được điều này ở DEP32 (attention song song dữ liệu với song song chuyên gia trên 32 GPU), trong khi DeepInfer dùng cấu hình EP64DP64.

Theo vLLM, ban đầu DeepInfer được xây dựng trên vLLM; dự án đạt kết quả này bằng cách tích hợp các kernel mã nguồn mở của DeepSeek và tối ưu hóa sâu quy trình nạp trước lẫn giải mã. Bài đăng có kèm biểu đồ hiệu năng; các số liệu là do vLLM công bố và chưa được kiểm chứng độc lập. Tính đến ngày 24 tháng 10, bài đăng có khoảng 307 lượt thích trên X.