SemiAnalysis: la primera contribución de NVIDIA e Inferact a vLLM en Rubin NVL72 alcanza un rendimiento de vanguardia

SemiAnalysis afirma que NVIDIA e Inferact han presentado un resultado inicial de vLLM en Rubin NVL72, menos de tres semanas después del lanzamiento de MiniMax M3.1 Flash. SemiAnalysis califica la contribución de vanguardia y afirma que ofrece un rendimiento 6,5 veces superior por costo total de propiedad frente a GB300 NVL72.

Según SemiAnalysis, la contribución utiliza la nueva función MoE con reconocimiento de localidad de CUDA 13.4, que, según afirma, reduce la latencia y aumenta el ancho de banda HBM efectivo aproximadamente 1,2 veces. Describe el trabajo como realizado en colaboración con el proyecto vLLM.

Las cifras son afirmaciones de SemiAnalysis.