Ling en NVIDIA versnellen Ling-3.0-flash met 42,5% op één DGX Spark

Het Ling-team zegt dat het samen met NVIDIA de inferentie voor het open-weight model Ling-3.0-flash (124B parameters in totaal, 5,1B actief per token) heeft geoptimaliseerd voor één NVIDIA DGX Spark. NVIDIA publiceerde een technische blogpost over het werk. De cijfers zijn afkomstig van het team zelf.

Drie technieken maakten het verschil:

• Humming MXFP4 MoE-kernels: +9,3% decodethroughput.
• Online FP8-kwantisatie van de LM-head: cumulatief +21,7%.
• NEXTN-gebaseerde voorspelling van meerdere tokens (MTP): stelt meerdere tokens per ronde op en verifieert ze, waardoor het aantal stappen afneemt.

Bij 1.319 GSM8K-vragen steeg de decodethroughput met 42,5%, van 37,81 naar 53,89 tokens per seconde, en daalde de gemiddelde latentie met 24,5%, van 15,21 s naar 11,49 s, zonder statistisch aantoonbare verandering in de nauwkeurigheid. Bij een synthetische workload met 32K invoertokens en 2K uitvoertokens haalde de gecombineerde stack 102,88 tokens per seconde, 185,1% boven de baseline. Het team waarschuwt dat dit specifiek is voor deze workload: MTP accepteerde gemiddeld 2,68 tokens per ronde bij GSM8K, tegenover 3,90 bij de synthetische test. Daarom moeten prestaties bij echte workloads afzonderlijk worden gebenchmarkt.

Het model staat op Hugging Face en ModelScope. Het team verwijst ook naar een implementatiegids op GitHub.