SemiAnalysis: Bản提交 vLLM đầu tiên của NVIDIA và Inferact trên Rubin NVL72 đạt hiệu năng hàng đầu

SemiAnalysis cho biết NVIDIA và Inferact đã gửi kết quả vLLM ban đầu trên Rubin NVL72, chưa đầy ba tuần sau khi MiniMax M3.1 Flash ra mắt. SemiAnalysis gọi bản提交 này là đạt hiệu năng hàng đầu và cho biết nó mang lại hiệu năng trên tổng chi phí sở hữu cao hơn 6,5 lần so với GB300 NVL72.

Theo SemiAnalysis, bản提交 này sử dụng tính năng MoE mới nhận biết tính cục bộ trong CUDA 13.4, được cho là giúp giảm độ trễ và tăng băng thông HBM thực tế khoảng 1,2 lần. Họ mô tả công việc này được thực hiện cùng dự án vLLM.

Các số liệu là tuyên bố riêng của SemiAnalysis.