Ling 與 NVIDIA 在單台 DGX Spark 上讓 Ling-3.0-flash 加速 42.5%

Ling 團隊表示，他們與 NVIDIA 合作，針對單台 NVIDIA DGX Spark 上的開放權重模型 Ling-3.0-flash（總參數量 124B，每個 token 啟用 5.1B）最佳化推論效能。NVIDIA 已發布相關技術部落格文章。這些數據來自團隊自行測得。

三項技術帶來了顯著提升：

• Humming MXFP4 MoE kernels： 解碼吞吐量提升 9.3%。
• Online FP8 LM-head quantization： 累計提升 21.7%。
• 以 NEXTN 為基礎的 multi-token prediction (MTP)： 每輪草擬並驗證多個 token，藉此減少步數。

在 1,319 道 GSM8K 題目中，解碼吞吐量提升 42.5%，從每秒 37.81 個 token 增至 53.89 個；平均延遲則降低 24.5%，從 15.21 秒降至 11.49 秒，準確度沒有出現可透過統計檢測的變化。在輸入 32K、輸出 2K token 的合成工作負載上，整合後的技術組合達到每秒 102.88 個 token，比基準高出 185.1%。團隊提醒，這項結果取決於工作負載：MTP 在 GSM8K 每輪接受 2.68 個 token，在合成測試中則為 3.90 個，因此應針對實際工作負載各自進行基準測試。

此模型已在 Hugging Face 和 ModelScope 上架，團隊也在 GitHub 提供部署指南。