AI TrackerSemiAnalysis: pierwsze zgłoszenie NVIDIA i Inferact do vLLM na Rubin NVL72 wyznacza światowy poziom
SemiAnalysis informuje, że NVIDIA i Inferact zgłosiły wstępny wynik vLLM na Rubin NVL72 niecałe trzy tygodnie po premierze MiniMax M3.1 Flash. SemiAnalysis określa zgłoszenie jako wyznaczające światowy poziom i twierdzi, że zapewnia ono 6,5 raza lepszą wydajność w przeliczeniu na całkowity koszt posiadania niż GB300 NVL72.
Według SemiAnalysis zgłoszenie wykorzystuje nową funkcję MoE uwzględniającą lokalność w CUDA 13.4, która — jak twierdzi firma — zmniejsza opóźnienia i zwiększa uzyskaną przepustowość HBM około 1,2 raza. Opisuje te prace jako wykonane we współpracy z projektem vLLM.
Podane wartości to twierdzenia samej SemiAnalysis.
Źródła
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.