SemiAnalysis: NVIDIA ve Inferact'ın Rubin NVL72 üzerindeki ilk vLLM gönderimi son teknoloji düzeyinde

SemiAnalysis, NVIDIA ve Inferact'ın MiniMax M3.1 Flash'ın piyasaya sürülmesinden üç haftadan kısa süre sonra Rubin NVL72 üzerinde ilk vLLM sonucunu gönderdiğini söylüyor. SemiAnalysis, gönderimin son teknoloji düzeyinde olduğunu ve GB300 NVL72'ye kıyasla toplam sahip olma maliyeti başına 6,5 kat daha iyi performans sunduğunu belirtiyor.

SemiAnalysis'e göre gönderimde, CUDA 13.4'teki yeni yerellik farkındalıklı MoE özelliği kullanılıyor; şirket bu özelliğin gecikmeyi azalttığını ve gerçekleşen HBM bant genişliğini yaklaşık 1,2 kat artırdığını söylüyor. Çalışmayı vLLM projesiyle ortaklaşa yürütülen bir çalışma olarak tanımlıyor.

Rakamlar SemiAnalysis'in kendi iddialarıdır.