SemiAnalysis: Kiriman vLLM perdana NVIDIA dan Inferact di Rubin NVL72 mencapai kinerja mutakhir

SemiAnalysis menyebut NVIDIA dan Inferact telah mengirimkan hasil awal vLLM di Rubin NVL72, kurang dari tiga minggu setelah peluncuran MiniMax M3.1 Flash. SemiAnalysis menyebut kiriman tersebut mencapai kinerja mutakhir dan mengatakan bahwa kinerjanya 6,5x lebih baik per total biaya kepemilikan dibandingkan GB300 NVL72.

Menurut SemiAnalysis, kiriman tersebut menggunakan fitur MoE baru yang peka terhadap lokalitas di CUDA 13.4, yang menurutnya mengurangi latensi dan meningkatkan bandwidth HBM yang terealisasi sekitar 1,2x. SemiAnalysis menyebut pekerjaan ini dilakukan bersama proyek vLLM.

Angka-angka tersebut merupakan klaim SemiAnalysis sendiri.