SemiAnalysis: Die erste vLLM-Einreichung von NVIDIA und Inferact auf Rubin NVL72 ist der Stand der Technik

Laut SemiAnalysis haben NVIDIA und Inferact weniger als drei Wochen nach dem Start von MiniMax M3.1 Flash ein erstes vLLM-Ergebnis auf Rubin NVL72 eingereicht. SemiAnalysis bezeichnet die Einreichung als Stand der Technik und gibt an, dass sie eine 6,5-mal bessere Leistung im Verhältnis zu den Gesamtbetriebskosten als GB300 NVL72 bietet.

Laut SemiAnalysis nutzt die Einreichung die neue lokalitätsbewusste MoE-Funktion in CUDA 13.4, die der Analyse zufolge die Latenz senkt und die tatsächlich erreichte HBM-Bandbreite um etwa das 1,2-Fache erhöht. Die Arbeit sei in Zusammenarbeit mit dem vLLM-Projekt entstanden.

Die Zahlen sind eigene Angaben von SemiAnalysis.