Ling 与 NVIDIA 将 Ling-3.0-flash 在单台 DGX Spark 上的速度提升 42.5%

Ling 团队表示，他们与 NVIDIA 合作，为单台 NVIDIA DGX Spark 上的开放权重模型 Ling-3.0-flash（总参数量 124B，每个 token 激活 5.1B）优化了推理。NVIDIA 发布了一篇介绍这项工作的技术博客。相关数据由团队自行提供。

三项技术带来了显著提升：

• Humming MXFP4 MoE 内核：解码吞吐量提升 9.3%。
• 在线 FP8 LM-head 量化：累计提升 21.7%。
• 基于 NEXTN 的多 token 预测（MTP）：每轮草拟并验证多个 token，从而减少所需步数。

在 1,319 道 GSM8K 题目上，解码吞吐量提升了 42.5%，从每秒 37.81 个 token 增至 53.89 个；平均延迟则下降了 24.5%，从 15.21 秒降至 11.49 秒，准确率没有出现统计上可检测的变化。在输入 32K、输出 2K token 的合成工作负载上，整套方案达到每秒 102.88 个 token，较基线高出 185.1%。团队提醒，这一结果因工作负载而异：在 GSM8K 上，MTP 每轮接受 2.68 个 token，而在合成测试中为 3.90 个，因此应针对实际工作负载单独进行基准测试。

该模型已上线 Hugging Face 和 ModelScope，团队还提供了 GitHub 部署指南。