SemiAnalysis: первая заявка NVIDIA и Inferact с vLLM для Rubin NVL72 задаёт новый уровень

По данным SemiAnalysis, NVIDIA и Inferact подали первые результаты работы vLLM на Rubin NVL72 — менее чем через три недели после запуска MiniMax M3.1 Flash. SemiAnalysis называет эти результаты передовыми и утверждает, что они обеспечивают в 6,5 раза более высокую производительность на единицу совокупной стоимости владения, чем GB300 NVL72.

По данным SemiAnalysis, в заявке используется новая функция MoE с учётом локальности в CUDA 13.4, которая, как утверждается, снижает задержку и повышает фактическую пропускную способность HBM примерно в 1,2 раза. Компания описывает эту работу как выполненную в сотрудничестве с проектом vLLM.

Эти цифры — собственные утверждения SemiAnalysis.