Ling y NVIDIA aceleran Ling-3.0-flash un 42,5% en un solo DGX Spark

El equipo de Ling afirma que, en colaboración con NVIDIA, optimizó la inferencia de Ling-3.0-flash, un modelo de pesos abiertos (124B de parámetros totales, 5.1B activos por token), en un solo NVIDIA DGX Spark. NVIDIA publicó una entrada técnica de blog sobre el trabajo. Las cifras son del propio equipo.

Tres técnicas marcaron la diferencia:

• Kernels Humming MXFP4 MoE: +9,3% en el rendimiento de decodificación.
• Cuantización FP8 en línea de la cabeza LM: +21,7% acumulativo.
• Predicción de múltiples tokens basada en NEXTN (MTP): genera y verifica varios tokens por ronda, lo que reduce el número de pasos.

En 1.319 preguntas de GSM8K, el rendimiento de decodificación aumentó un 42,5%, de 37,81 a 53,89 tokens por segundo, y la latencia media bajó un 24,5%, de 15,21 s a 11,49 s, sin cambios estadísticamente detectables en la precisión. En una carga de trabajo sintética con 32K tokens de entrada y 2K de salida, la combinación alcanzó 102,88 tokens por segundo, un 185,1% por encima del valor de referencia. El equipo advierte que estos resultados dependen de la carga de trabajo: MTP aceptó 2,68 tokens por ronda en GSM8K, frente a 3,90 en la prueba sintética, por lo que conviene evaluar cada carga de trabajo real de forma independiente.

El modelo está disponible en Hugging Face y ModelScope, y el equipo enlaza una guía de implementación en GitHub.