SemiAnalysis: de eerste vLLM-submissie van NVIDIA en Inferact op Rubin NVL72 is state-of-the-art

Volgens SemiAnalysis hebben NVIDIA en Inferact minder dan drie weken na de lancering van MiniMax M3.1 Flash een eerste vLLM-resultaat op Rubin NVL72 ingediend. SemiAnalysis noemt de inzending state-of-the-art en zegt dat deze 6,5× betere prestaties per totale eigendomskosten levert dan GB300 NVL72.

Volgens SemiAnalysis maakt de inzending gebruik van de nieuwe locality-aware MoE-functie in CUDA 13.4, die volgens het bedrijf de latentie verlaagt en de gerealiseerde HBM-bandbreedte met ongeveer 1,2× verhoogt. Het omschrijft het werk als uitgevoerd in samenwerking met het vLLM-project.

De cijfers zijn eigen beweringen van SemiAnalysis.