SemiAnalysis : la première soumission de NVIDIA et Inferact pour vLLM sur Rubin NVL72 est à la pointe de la technologie

SemiAnalysis indique que NVIDIA et Inferact ont soumis un premier résultat vLLM sur Rubin NVL72, moins de trois semaines après le lancement de MiniMax M3.1 Flash. Selon SemiAnalysis, cette soumission est à la pointe de la technologie et offre des performances 6,5 fois supérieures par coût total de possession à celles de GB300 NVL72.

Selon SemiAnalysis, la soumission utilise la nouvelle fonctionnalité MoE tenant compte de la localité dans CUDA 13.4, qui réduit la latence et augmente la bande passante HBM effective d’environ 1,2 fois. L’entreprise décrit ce travail comme ayant été réalisé en partenariat avec le projet vLLM.

Ces chiffres sont les propres affirmations de SemiAnalysis.