SemiAnalysis: NVIDIA와 Inferact가 Rubin NVL72에서 첫 vLLM 제출 결과를 공개했으며, 최첨단 성능을 기록

SemiAnalysis에 따르면 NVIDIA와 Inferact는 MiniMax M3.1 Flash 출시 후 3주도 안 돼 Rubin NVL72에서 초기 vLLM 결과를 제출했습니다. SemiAnalysis는 이 결과가 최첨단 성능을 보이며, GB300 NVL72보다 총소유비용 대비 성능이 6.5배 더 높다고 밝혔습니다.

SemiAnalysis에 따르면 이번 제출 결과에는 CUDA 13.4의 새로운 위치 인식 MoE 기능이 적용됐으며, 이 기능은 지연 시간을 줄이고 실제 HBM 대역폭을 약 1.2배 높인다고 합니다. 이번 작업은 vLLM 프로젝트와 협력해 진행했다고 설명했습니다.

수치는 SemiAnalysis가 자체적으로 주장한 내용입니다.