vLLM, DeepSeek-V4.1-Flash'te artık DeepSeek'in DeepInfer motoruyla eşleştiğini söylüyor

vLLM projesi, çıkarım motorunun DeepSeek-V4.1-Flash için DeepSeek'in kendi motoru olan DeepInfer ile DeepSeek'in decode yapılandırmasında, 8 ile 256 arasındaki batch boyutlarında eşleştiğini söylüyor. Bunun, DeepInfer'ın EP64DP64 kurulumuna karşı DEP32'de (32 GPU'ya yayılan uzman paralelliğiyle veri paralel dikkat) elde edildiğini belirtiyor.

vLLM'ye göre DeepInfer başlangıçta vLLM üzerine kurulmuştu; bu sonuçlara DeepSeek'in açık kaynaklı kernel'larını entegre ederek ve prefill ile decode işlemlerini kapsamlı biçimde optimize ederek ulaştı. Paylaşımda bir performans grafiği yer alıyor; veriler vLLM'nin kendi verileri ve bağımsız olarak doğrulanmadı. 24 Ekim itibarıyla paylaşım X'te yaklaşık 307 beğeni almıştı.