LingとNVIDIA、単一のDGX SparkでLing-3.0-flashを42.5%高速化

Lingチームによると、NVIDIAと協力し、オープンウェイトモデルLing-3.0-flash（総パラメーター数124B、トークンあたりのアクティブパラメーター数5.1B）の推論を、NVIDIA DGX Spark 1台で最適化した。NVIDIAはこの取り組みに関する技術ブログ記事を公開している。以下の数値はチームによるもの。

効果をもたらしたのは、次の3つの手法だ。

• Humming MXFP4 MoEカーネル: デコードのスループットが9.3%向上。
• オンラインFP8 LM-head量子化: 累積で21.7%向上。
• NEXTNベースのマルチトークン予測（MTP）: 1ラウンドで複数のトークンを生成・検証し、必要なステップ数を削減。

GSM8Kの質問1,319問で、デコードのスループットは毎秒37.81トークンから53.89トークンへ42.5%向上し、平均レイテンシは15.21秒から11.49秒へ24.5%低下した。精度に統計的に検出可能な変化はなかった。入力32Kトークン、出力2Kトークンの合成ワークロードでは、最適化を組み合わせた構成で毎秒102.88トークンに達し、ベースラインを185.1%上回った。チームは、これは特定のワークロードに限った結果だと注意を促している。GSM8KでMTPが1ラウンドあたりに受け入れたトークン数は2.68個で、合成テストの3.90個を下回ったため、実際のワークロードは個別にベンチマークする必要がある。

モデルはHugging FaceとModelScopeで公開されており、チームはGitHubのデプロイクックブックも紹介している。