vLLM affirme désormais égaler le moteur DeepInfer de DeepSeek sur DeepSeek-V4.1-Flash

Le projet vLLM affirme que son moteur d’inférence égale désormais DeepInfer, le moteur de DeepSeek pour DeepSeek-V4.1-Flash, avec la configuration de décodage de DeepSeek et des tailles de lot allant de 8 à 256. Il indique y parvenir avec DEP32 (attention parallèle aux données et parallélisme des experts sur 32 GPU), face à la configuration EP64DP64 de DeepInfer.

Selon vLLM, DeepInfer a été conçu à l’origine à partir de vLLM, et ces résultats ont été obtenus en intégrant les noyaux open source de DeepSeek et en optimisant considérablement le préremplissage et le décodage. La publication comprend un graphique de performances ; les chiffres sont ceux de vLLM et n’ont pas été vérifiés de manière indépendante. Au 24 octobre, la publication comptait environ 307 mentions J’aime sur X.