SGLang और Google ने Meta के Muse Spark Open को एक TPU v7 होस्ट पर तेज़ बनाया

SGLang प्रोजेक्ट का कहना है कि Meta का Muse Spark Open, SGLang-TorchTPU के साथ एक TPU v7 होस्ट पर चल सकता है। साथ ही, उसने SemiAnalysis के AgentX एजेंट वर्कलोड के तहत इसकी गति बढ़ाने के लिए RadixArk और Google के साथ काम किया है। ये प्रोजेक्ट के अपने आँकड़े हैं:

• छोटे बैच साइज़ पर 3 गुना तेज़ डिकोडिंग, कस्टम मेगाकर्नेल और DFlash2 स्पेक्युलेटिव डिकोडिंग के साथ।
• 500K-टोकन कॉन्टेक्स्ट पर 18% तेज़ डिकोडिंग।
• बड़े एजेंट प्रॉम्प्ट के लिए तेज़ प्रीफ़िल, फ़्यूज़्ड MoE कर्नेल और सीक्वेंस पैरेललिज़्म के इस्तेमाल से।
• प्रति चिप दोगुना कॉन्टेक्स्ट, कॉम्पैक्ट fp8 KV कैश के साथ।
• HiCache और सेशन-अवेयर इविक्शन से एजेंट थ्रूपुट में 77% तक की बढ़ोतरी।

SGLang जिस 10 नवंबर की PyTorch पोस्ट का हवाला देता है, उसमें 1M कॉन्टेक्स्ट पर AgentX के लिए प्रति उपयोगकर्ता 433 टोकन प्रति सेकंड और प्रति चिप 25.9K टोकन प्रति सेकंड तक की गति बताई गई है। पोस्ट के मुताबिक, 816B-पैरामीटर वाले MoE मॉडल की सभी 62 लेयर एक Pallas प्रोग्राम के रूप में चलती हैं। कोड और रेसिपी SGLang cookbook में उपलब्ध हैं। टीम का कहना है कि वह प्रीफ़िल/डिकोड डिसएग्रीगेशन और अटेंशन व MoE के अतिरिक्त ऑप्टिमाइज़ेशन पर काम कर रही है।