Ling và NVIDIA tăng tốc Ling-3.0-flash trên một máy DGX Spark lên 42,5%

Nhóm Ling cho biết, khi hợp tác với NVIDIA, họ đã tối ưu suy luận cho Ling-3.0-flash có trọng số mở (tổng cộng 124B tham số, 5.1B tham số hoạt động trên mỗi token) trên một NVIDIA DGX Spark. NVIDIA đã đăng bài viết kỹ thuật về công trình này. Các số liệu do chính nhóm cung cấp.

Ba kỹ thuật tạo nên khác biệt:

• Kernel Humming MXFP4 MoE: thông lượng giải mã tăng 9,3%.
• Lượng tử hóa LM-head FP8 trực tuyến: mức tăng tích lũy 21,7%.
• Dự đoán nhiều token (MTP) dựa trên NEXTN: soạn và xác minh nhiều token trong mỗi lượt, giúp giảm số bước.

Trên 1.319 câu hỏi GSM8K, thông lượng giải mã tăng 42,5%, từ 37.81 lên 53.89 token/giây, và độ trễ trung bình giảm 24,5%, từ 15.21 giây xuống 11.49 giây, trong khi không ghi nhận thay đổi độ chính xác có ý nghĩa thống kê. Với khối lượng công việc tổng hợp gồm 32K token đầu vào và 2K token đầu ra, toàn bộ hệ thống kết hợp đạt 102.88 token/giây, cao hơn 185,1% so với mức cơ sở. Nhóm lưu ý kết quả này phụ thuộc vào khối lượng công việc: MTP chấp nhận 2.68 token mỗi lượt trên GSM8K, so với 3.90 trong thử nghiệm tổng hợp, vì vậy nên tự đo kiểm trên các khối lượng công việc thực tế.

Mô hình có trên Hugging Face và ModelScope; nhóm cũng dẫn liên kết đến hướng dẫn triển khai trên GitHub.