SGLang का कहना है कि अब वह DeepSeek-V4.1-Flash पर DeepSeek के DeepInfer इंजन के बराबर है
SGLang प्रोजेक्ट का कहना है कि उसका inference engine अब DeepSeek-V4.1-Flash पर prefill और decode, दोनों में DeepInfer—DeepSeek के अपने इंजन—के बराबर है। vLLM के इसी तरह का दावा करने के कुछ घंटे बाद, SGLang ने 4× GB300 और 4× B300 पर DeepInfer की prefill throughput से 1.04× तक, और 64× GB300 पर decode throughput में 7.4% तक का प्रदर्शन बताया।
SGLang का यह भी कहना है कि वह इस सेटअप को प्रोडक्शन में चलाने के लिए शुरू से अंत तक की reproduction guide और पूरा serving stack देता है। ये आंकड़े SGLang के अपने हैं और इनकी स्वतंत्र रूप से जांच नहीं हुई है। 24 अक्टूबर तक X पर पोस्ट को लगभग 149 likes मिले थे।
स्रोत
- DeepInfer ने पैमाना तय किया। SGLang ने उसे और ऊंचा कर दिया! 🚀X · 16 टिप्पणियाँ
ऐसी ख़बरें push में पाएँ।
आपके टूल्स में कुछ बदलते ही AI Tracker आपको अलर्ट करता है।