SemiAnalysis: o primeiro resultado de NVIDIA e Inferact com vLLM no Rubin NVL72 é o estado da arte

A SemiAnalysis afirma que NVIDIA e Inferact enviaram um resultado inicial com vLLM no Rubin NVL72, menos de três semanas após o lançamento do MiniMax M3.1 Flash. A SemiAnalysis classifica o resultado como estado da arte e diz que ele oferece desempenho 6,5 vezes melhor por custo total de propriedade do que o GB300 NVL72.

Segundo a SemiAnalysis, o resultado usa o novo recurso de MoE com reconhecimento de localidade do CUDA 13.4, que, segundo a empresa, reduz a latência e aumenta em cerca de 1,2 vez a largura de banda HBM efetiva. A empresa descreve o trabalho como realizado em parceria com o projeto vLLM.

Os números são afirmações da própria SemiAnalysis.