Ling e NVIDIA accelerano Ling-3.0-flash del 42,5% su un singolo DGX Spark

Il team Ling afferma di aver ottimizzato, insieme a NVIDIA, l’inferenza del modello open-weight Ling-3.0-flash (124B parametri totali, 5,1B attivi per token) su un singolo NVIDIA DGX Spark. NVIDIA ha pubblicato un post tecnico sul lavoro. I dati sono stati forniti dal team.

Tre tecniche hanno fatto la differenza:

• Kernel Humming MXFP4 MoE: +9,3% di throughput in decodifica.
• Quantizzazione online FP8 della LM-head: +21,7% cumulativo.
• Predizione multi-token (MTP) basata su NEXTN: genera e verifica più token a ogni round, riducendo così il numero di passaggi.

Su 1.319 domande GSM8K, il throughput in decodifica è aumentato del 42,5%, passando da 37,81 a 53,89 token al secondo, e la latenza media è diminuita del 24,5%, da 15,21 s a 11,49 s, senza variazioni dell’accuratezza rilevabili statisticamente. Su un carico di lavoro sintetico con 32K token in input e 2K in output, lo stack combinato ha raggiunto 102,88 token al secondo, il 185,1% in più rispetto alla baseline. Il team precisa che i risultati dipendono dal carico di lavoro: su GSM8K, MTP ha accettato 2,68 token per round, contro 3,90 nel test sintetico, quindi i carichi di lavoro reali andrebbero sottoposti a benchmark indipendenti.

Il modello è disponibile su Hugging Face e ModelScope; il team rimanda inoltre a una guida alla distribuzione su GitHub.