Ling et NVIDIA accélèrent Ling-3.0-flash de 42,5 % sur un seul DGX Spark

L’équipe Ling indique qu’en collaboration avec NVIDIA, elle a optimisé l’inférence du modèle à poids ouverts Ling-3.0-flash (124B de paramètres au total, 5,1B actifs par jeton) sur un seul NVIDIA DGX Spark. NVIDIA a publié un article technique sur ces travaux. Les chiffres sont ceux de l’équipe.

Trois techniques ont fait la différence :

• Noyaux Humming MXFP4 MoE : +9,3 % de débit en décodage.
• Quantification en ligne FP8 de la tête LM : +21,7 % au cumul.
• Prédiction multi-jetons (MTP) basée sur NEXTN : rédige et vérifie plusieurs jetons par tour, ce qui réduit le nombre d’étapes.

Sur 1 319 questions GSM8K, le débit en décodage a augmenté de 42,5 %, passant de 37,81 à 53,89 jetons par seconde, et la latence moyenne a baissé de 24,5 %, passant de 15,21 s à 11,49 s, sans changement de précision détectable statistiquement. Sur une charge de travail synthétique de 32K jetons en entrée et 2K en sortie, la pile combinée a atteint 102,88 jetons par seconde, soit 185,1 % de plus que la référence. L’équipe précise que ces résultats dépendent de la charge de travail : MTP a accepté 2,68 jetons par tour sur GSM8K, contre 3,90 sur le test synthétique. Les charges de travail réelles doivent donc être évaluées séparément.

Le modèle est disponible sur Hugging Face et ModelScope, et l’équipe propose un guide de déploiement sur GitHub.