Ling dan NVIDIA mempercepat Ling-3.0-flash sebesar 42,5% di satu DGX Spark

Tim Ling mengatakan bahwa, bekerja sama dengan NVIDIA, mereka mengoptimalkan inferensi untuk Ling-3.0-flash berbobot terbuka (total 124B parameter, 5,1B aktif per token) di satu NVIDIA DGX Spark. NVIDIA menerbitkan postingan blog teknis tentang upaya ini. Angka-angka tersebut berasal dari tim sendiri.

Tiga teknik menghasilkan peningkatan:

• Kernel MoE MXFP4 Humming: throughput decode naik 9,3%.
• Kuantisasi LM-head FP8 online: naik 21,7% secara kumulatif.
• Prediksi multi-token (MTP) berbasis NEXTN: menyusun draf dan memverifikasi beberapa token per putaran, sehingga mengurangi jumlah langkah.

Dalam 1.319 pertanyaan GSM8K, throughput decode naik 42,5%, dari 37,81 menjadi 53,89 token per detik, dan latensi rata-rata turun 24,5%, dari 15,21 dtk menjadi 11,49 dtk, tanpa perubahan akurasi yang terdeteksi secara statistik. Pada beban kerja sintetis dengan 32K token input dan 2K token output, stack gabungan mencapai 102,88 token per detik, 185,1% di atas baseline. Tim mengingatkan bahwa hasil ini spesifik untuk beban kerja tersebut: MTP menerima 2,68 token per putaran pada GSM8K, dibandingkan 3,90 pada pengujian sintetis, jadi beban kerja nyata perlu di-benchmark secara terpisah.

Model ini tersedia di Hugging Face dan ModelScope, dan tim menautkan panduan deployment di GitHub.