Ling ve NVIDIA, tek bir DGX Spark üzerinde Ling-3.0-flash'ı %42,5 hızlandırdı

Ling ekibi, NVIDIA ile birlikte çalışarak açık ağırlıklı Ling-3.0-flash modelinin (toplam 124B parametre, token başına 5,1B etkin parametre) tek bir NVIDIA DGX Spark üzerindeki çıkarımını optimize ettiğini söylüyor. NVIDIA, çalışmayla ilgili teknik bir blog yazısı yayımladı. Rakamlar ekibin kendi ölçümleri.

Farkı üç teknik yarattı:

• Humming MXFP4 MoE kernel'ları: kod çözme veriminde +%9,3.
• Çevrimiçi FP8 LM-head kuantizasyonu: kümülatif olarak +%21,7.
• NEXTN tabanlı çoklu token tahmini (MTP): her turda birkaç token taslak olarak oluşturulup doğrulanıyor; bu da adım sayısını azaltıyor.

1.319 GSM8K sorusunda kod çözme verimi saniyede 37,81 token'dan 53,89 token'a çıkarak %42,5 arttı; ortalama gecikme ise 15,21 sn'den 11,49 sn'ye düşerek %24,5 azaldı. Doğrulukta istatistiksel olarak saptanabilir bir değişiklik olmadı. 32K girdi ve 2K çıktı token'ından oluşan sentetik bir iş yükünde, birleşik yığın saniyede 102,88 token'a ulaştı; bu, temel ölçümün %185,1 üzerinde. Ekip bunun iş yüküne özgü olduğu konusunda uyarıyor: MTP, GSM8K'de tur başına 2,68 token'ı, sentetik testteyse 3,90 token'ı kabul etti. Bu nedenle gerçek iş yükleri bağımsız olarak kıyaslanmalı.

Model Hugging Face ve ModelScope'ta mevcut; ekip ayrıca GitHub'da bir dağıtım kılavuzuna bağlantı veriyor.