SemiAnalysis: Rubin NVL72 पर NVIDIA और Inferact का पहला vLLM सबमिशन अत्याधुनिक है

SemiAnalysis का कहना है कि MiniMax M3.1 Flash लॉन्च के तीन हफ्ते से भी कम समय बाद NVIDIA और Inferact ने Rubin NVL72 पर शुरुआती vLLM परिणाम सबमिट किया है। SemiAnalysis इस सबमिशन को अत्याधुनिक बताता है और कहता है कि यह GB300 NVL72 की तुलना में कुल स्वामित्व लागत के प्रति 6.5 गुना बेहतर प्रदर्शन देता है।

SemiAnalysis के अनुसार, इस सबमिशन में CUDA 13.4 का नया locality-aware MoE फ़ीचर इस्तेमाल किया गया है, जो उसके मुताबिक़ लेटेंसी घटाता है और वास्तविक HBM बैंडविड्थ को लगभग 1.2 गुना बढ़ाता है। वह इस काम को vLLM प्रोजेक्ट के साथ साझेदारी में किया गया बताता है।

ये आँकड़े SemiAnalysis के अपने दावे हैं।