SemiAnalysis：NVIDIAとInferactによるRubin NVL72向け初のvLLM提出結果は最先端

SemiAnalysisによると、NVIDIAとInferactはMiniMax M3.1 Flashの発表から3週間足らずで、Rubin NVL72向けの初期vLLM性能結果を提出しました。SemiAnalysisは、この結果が最先端の性能を示し、GB300 NVL72と比べて総所有コストあたりの性能が6.5倍向上したとしています。

SemiAnalysisによると、この提出結果ではCUDA 13.4の新しいローカリティ対応MoE機能を使用しており、これによりレイテンシが低減し、実効HBM帯域幅が約1.2倍に向上したとのことです。また、この取り組みはvLLMプロジェクトとの協業で行われたと説明しています。

これらの数値はSemiAnalysis独自の主張です。