AI TrackerPobierz
← Wszystkie wiadomości

SGLang twierdzi, że dorównał silnikowi DeepInfer firmy DeepSeek na DeepSeek-V4.1-Flash

Projekt SGLang twierdzi, że jego silnik wnioskowania dorównuje teraz DeepInfer, własnemu silnikowi DeepSeek, zarówno w fazie prefill, jak i dekodowania dla DeepSeek-V4.1-Flash. Kilka godzin po podobnym oświadczeniu vLLM SGLang poinformował o przepustowości prefill do 1.04× większej niż w DeepInfer na 4× GB300 i 4× B300 oraz o przepustowości dekodowania do 7.4% na 64× GB300.

SGLang twierdzi również, że udostępnia kompletny przewodnik pozwalający odtworzyć wyniki od początku do końca oraz pełny stos do uruchamiania tej konfiguracji produkcyjnie. Podane wartości pochodzą od SGLang i nie zostały niezależnie zweryfikowane. Do 24 października wpis miał około 149 polubień na X.

Otrzymuj takie wiadomości jako push.

AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.

Pobierz aplikację