Ling i NVIDIA przyspieszają Ling-3.0-flash o 42,5% na pojedynczym DGX Spark

Zespół Ling twierdzi, że we współpracy z NVIDIA zoptymalizował inferencję modelu z otwartymi wagami Ling-3.0-flash (łącznie 124B parametrów, 5.1B aktywnych na token) na jednym NVIDIA DGX Spark. NVIDIA opublikowała wpis techniczny na ten temat. Podane wyniki pochodzą od zespołu.

Różnicę przyniosły trzy techniki:

• Jądra Humming MXFP4 MoE: wzrost przepustowości dekodowania o 9,3%.
• Kwantyzacja głowicy LM do FP8 w trybie online: łącznie +21,7%.
• Wielotokenowa predykcja (MTP) oparta na NEXTN: generuje i weryfikuje kilka tokenów w każdej rundzie, zmniejszając liczbę kroków.

W teście obejmującym 1 319 pytań GSM8K przepustowość dekodowania wzrosła o 42,5% — z 37,81 do 53,89 tokena na sekundę — a średnie opóźnienie spadło o 24,5% — z 15,21 s do 11,49 s — bez statystycznie wykrywalnej zmiany dokładności. Na syntetycznym obciążeniu z 32K tokenów wejściowych i 2K wyjściowych łączny zestaw osiągnął 102,88 tokena na sekundę, czyli o 185,1% więcej niż wartość bazowa. Zespół zaznacza, że wyniki zależą od obciążenia: MTP zaakceptowało średnio 2,68 tokena na rundę w GSM8K, wobec 3,90 w teście syntetycznym, dlatego rzeczywiste obciążenia należy testować niezależnie.

Model jest dostępny na Hugging Face i ModelScope, a zespół udostępnia na GitHub poradnik wdrożeniowy.