SGLang、DeepSeek-V4.1-FlashでDeepSeekのDeepInferエンジンと同等の性能を達成したと発表
SGLangプロジェクトは、DeepSeek-V4.1-Flashのprefillとdecodeの両方で、自社の推論エンジンがDeepSeek独自のエンジンであるDeepInferと同等の性能になったと発表しました。vLLMが同様の主張をしてから数時間後、SGLangは4× GB300および4× B300でDeepInferのprefillスループットを最大1.04倍、64× GB300でdecodeスループットを最大7.4%上回ったと報告しました。
SGLangによると、本番環境でこの構成を実行するための、最初から最後までの再現ガイドとフルのサービングスタックも提供しています。これらの数値はSGLang独自のもので、第三者による検証は行われていません。10月24日時点で、この投稿にはXで約149件の「いいね」が付いていました。
ソース
- DeepInferが基準を定めた。SGLangはそれをさらに引き上げた! 🚀X · 16 件のコメント
こんなニュースをプッシュで。
使っているツールに変化があると、AI Tracker がお知らせします。