vLLM afirma que agora iguala o mecanismo DeepInfer da DeepSeek no DeepSeek-V4.1-Flash

O projeto vLLM afirma que seu mecanismo de inferência agora iguala o DeepInfer, mecanismo próprio da DeepSeek para o DeepSeek-V4.1-Flash, na configuração de decodificação da DeepSeek, em tamanhos de lote de 8 a 256. Segundo o projeto, isso é feito com DEP32 (atenção paralela a dados com paralelismo de especialistas em 32 GPUs), em comparação com a configuração EP64DP64 do DeepInfer.

Segundo o vLLM, o DeepInfer foi originalmente desenvolvido com base no vLLM, e esses resultados foram alcançados com a integração dos kernels de código aberto da DeepSeek e uma ampla otimização do prefill e da decodificação. A publicação inclui um gráfico de desempenho; os números são do próprio vLLM e não foram verificados de forma independente. Em 24 de outubro, a publicação tinha cerca de 307 curtidas no X.