Ling और NVIDIA ने एक ही DGX Spark पर Ling-3.0-flash को 42.5% तेज़ किया

Ling टीम का कहना है कि NVIDIA के साथ मिलकर उसने एक NVIDIA DGX Spark पर ओपन-वेट Ling-3.0-flash (कुल 124B पैरामीटर, प्रति टोकन 5.1B सक्रिय) के लिए inference को अनुकूलित किया। NVIDIA ने इस काम पर एक तकनीकी ब्लॉग पोस्ट प्रकाशित की। ये आंकड़े टीम के अपने हैं।

तीन तकनीकों से फर्क पड़ा:

• Humming MXFP4 MoE kernels: decode throughput में +9.3%।
• Online FP8 LM-head quantization: कुल मिलाकर +21.7%।
• NEXTN-आधारित multi-token prediction (MTP): हर दौर में कई टोकन का मसौदा बनाता और सत्यापन करता है, जिससे चरणों की संख्या घटती है।

1,319 GSM8K सवालों पर decode throughput 42.5% बढ़कर 37.81 से 53.89 tokens per second हो गया, और औसत latency 24.5% घटकर 15.21 s से 11.49 s रह गई; सटीकता में कोई सांख्यिकीय रूप से पता लगाने योग्य बदलाव नहीं हुआ। 32K इनपुट और 2K आउटपुट टोकन वाले सिंथेटिक वर्कलोड पर, संयुक्त स्टैक ने 102.88 tokens per second हासिल किए, जो बेसलाइन से 185.1% अधिक है। टीम आगाह करती है कि ये नतीजे खास वर्कलोड के लिए हैं: GSM8K पर MTP ने प्रति दौर 2.68 टोकन स्वीकार किए, जबकि सिंथेटिक टेस्ट पर यह संख्या 3.90 थी, इसलिए वास्तविक वर्कलोड को अलग से बेंचमार्क करना चाहिए।

यह मॉडल Hugging Face और ModelScope पर उपलब्ध है, और टीम GitHub पर एक deployment cookbook का लिंक देती है।