Ling und NVIDIA beschleunigen Ling-3.0-flash auf einem einzelnen DGX Spark um 42,5 %

Das Ling-Team gibt an, die Inferenz für das Open-Weight-Modell Ling-3.0-flash (insgesamt 124B Parameter, 5,1B aktiv pro Token) in Zusammenarbeit mit NVIDIA auf einem einzelnen NVIDIA DGX Spark optimiert zu haben. NVIDIA hat dazu einen technischen Blogbeitrag veröffentlicht. Die Zahlen stammen vom Team selbst.

Drei Techniken machten den Unterschied:

• Humming-MXFP4-MoE-Kernels: +9,3 % Decoding-Durchsatz.
• Online-FP8-Quantisierung des LM-Heads: insgesamt +21,7 %.
• NEXTN-basierte Multi-Token-Vorhersage (MTP): Entwirft und überprüft mehrere Token pro Runde und reduziert so die Anzahl der Schritte.

Bei 1.319 GSM8K-Fragen stieg der Decoding-Durchsatz um 42,5 % von 37,81 auf 53,89 Token pro Sekunde, und die mittlere Latenz sank um 24,5 % von 15,21 s auf 11,49 s – ohne statistisch nachweisbare Veränderung der Genauigkeit. Bei einem synthetischen Workload mit 32K Eingabe- und 2K Ausgabetoken erreichte der kombinierte Stack 102,88 Token pro Sekunde, 185,1 % mehr als die Baseline. Das Team weist darauf hin, dass die Ergebnisse workload-spezifisch sind: MTP akzeptierte bei GSM8K durchschnittlich 2,68 Token pro Runde, beim synthetischen Test dagegen 3,90. Reale Workloads sollten daher separat bewertet werden.

Das Modell ist auf Hugging Face und ModelScope verfügbar. Das Team verlinkt außerdem ein Deployment-Cookbook auf GitHub.