Ling e NVIDIA aceleram o Ling-3.0-flash em um único DGX Spark em 42,5%

A equipe do Ling afirma que, em parceria com a NVIDIA, otimizou a inferência do modelo de pesos abertos Ling-3.0-flash (124B de parâmetros totais, 5.1B ativos por token) em um único NVIDIA DGX Spark. A NVIDIA publicou uma postagem técnica sobre o trabalho. Os números são da própria equipe.

Três técnicas fizeram a diferença:

• Kernels Humming MXFP4 MoE: +9,3% na taxa de geração de tokens.
• Quantização online FP8 do LM-head: +21,7% de forma cumulativa.
• Predição de vários tokens baseada em NEXTN (MTP): gera rascunhos e verifica vários tokens por rodada, reduzindo o número de etapas.

Em 1.319 perguntas do GSM8K, a taxa de geração de tokens subiu 42,5%, de 37,81 para 53,89 tokens por segundo, e a latência média caiu 24,5%, de 15,21 s para 11,49 s, sem mudança estatisticamente detectável na precisão. Em uma carga de trabalho sintética com 32K tokens de entrada e 2K de saída, a combinação atingiu 102,88 tokens por segundo, 185,1% acima da linha de base. A equipe ressalta que o resultado depende da carga de trabalho: o MTP aceitou 2,68 tokens por rodada no GSM8K, contra 3,90 no teste sintético, então cargas reais devem ser avaliadas de forma independente.

O modelo está disponível no Hugging Face e no ModelScope, e a equipe disponibiliza um guia de implantação no GitHub.