Ling과 NVIDIA, 단일 DGX Spark에서 Ling-3.0-flash 속도 42.5% 향상

Ling 팀은 NVIDIA와 협력해 NVIDIA DGX Spark 한 대에서 오픈 웨이트 Ling-3.0-flash(총 파라미터 124B, 토큰당 활성 파라미터 5.1B)의 추론을 최적화했다고 밝혔습니다. NVIDIA는 이 작업에 관한 기술 블로그 게시물을 공개했습니다. 수치는 팀 자체 측정 결과입니다.

세 가지 기법이 성능 향상에 기여했습니다.

• Humming MXFP4 MoE 커널: 디코드 처리량 +9.3%.
• 온라인 FP8 LM-head 양자화: 누적 +21.7%.
• NEXTN 기반 다중 토큰 예측(MTP): 매 라운드 여러 토큰을 초안으로 생성하고 검증해 단계 수를 줄입니다.

GSM8K 질문 1,319개를 대상으로 디코드 처리량은 초당 37.81토큰에서 53.89토큰으로 42.5% 증가했고, 평균 지연 시간은 15.21초에서 11.49초로 24.5% 감소했습니다. 정확도에는 통계적으로 감지할 수 있는 변화가 없었습니다. 입력 토큰 32K와 출력 토큰 2K로 구성된 합성 워크로드에서는 결합된 스택의 처리량이 초당 102.88토큰에 도달해 기준 대비 185.1% 높았습니다. 팀은 결과가 워크로드에 따라 달라질 수 있다고 강조합니다. GSM8K에서 MTP는 라운드당 2.68개 토큰을 수락한 반면 합성 테스트에서는 3.90개를 수락했으므로, 실제 워크로드는 별도로 벤치마크해야 합니다.

모델은 Hugging Face와 ModelScope에서 이용할 수 있으며, 팀은 GitHub에 배포 쿡북을 링크했습니다.