AI TrackerSemiAnalysis: la prima submission di vLLM di NVIDIA e Inferact su Rubin NVL72 è all’avanguardia
SemiAnalysis afferma che NVIDIA e Inferact hanno presentato un risultato iniziale di vLLM su Rubin NVL72, meno di tre settimane dopo il lancio di MiniMax M3.1 Flash. SemiAnalysis definisce la submission all’avanguardia e dichiara che offre prestazioni per costo totale di proprietà 6,5 volte superiori rispetto a GB300 NVL72.
Secondo SemiAnalysis, la submission sfrutta la nuova funzionalità MoE consapevole della località in CUDA 13.4, che, a suo dire, riduce la latenza e aumenta di circa 1,2 volte la larghezza di banda HBM effettivamente ottenuta. Descrive il lavoro come svolto in collaborazione con il progetto vLLM.
Le cifre sono dichiarazioni di SemiAnalysis.
Fonti
Ricevi notizie come questa via push.
AI Tracker ti avvisa quando cambia qualcosa negli strumenti che usi.