SGLang twierdzi, że dorównał silnikowi DeepInfer firmy DeepSeek na DeepSeek-V4.1-Flash
Projekt SGLang twierdzi, że jego silnik wnioskowania dorównuje teraz DeepInfer, własnemu silnikowi DeepSeek, zarówno w fazie prefill, jak i dekodowania dla DeepSeek-V4.1-Flash. Kilka godzin po podobnym oświadczeniu vLLM SGLang poinformował o przepustowości prefill do 1.04× większej niż w DeepInfer na 4× GB300 i 4× B300 oraz o przepustowości dekodowania do 7.4% na 64× GB300.
SGLang twierdzi również, że udostępnia kompletny przewodnik pozwalający odtworzyć wyniki od początku do końca oraz pełny stos do uruchamiania tej konfiguracji produkcyjnie. Podane wartości pochodzą od SGLang i nie zostały niezależnie zweryfikowane. Do 24 października wpis miał około 149 polubień na X.
Źródła
- DeepInfer wyznaczył poprzeczkę. SGLang podniósł ją jeszcze wyżej! 🚀X · 16 komentarzy
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.