SGLang 称其现已在 DeepSeek-V4.1-Flash 上追平 DeepSeek 的 DeepInfer 引擎
SGLang 项目称,其推理引擎现已在 DeepSeek-V4.1-Flash 的预填充和解码方面追平 DeepInfer(DeepSeek 自研引擎)。在 vLLM 作出类似声明数小时后,SGLang 报告称,在 4× GB300 和 4× B300 上,预填充吞吐量最高达到 DeepInfer 的 1.04×;在 64× GB300 上,解码吞吐量最高提升 7.4%。
SGLang 还称,项目提供端到端复现指南和完整的服务堆栈,便于在生产环境中运行这套方案。这些数据来自 SGLang,尚未经过独立验证。截至 10 月 24 日,该帖在 X 上约有 149 个赞。
来源
- DeepInfer 设定了标杆。SGLang 又把它推高了!🚀X · 16 条评论
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。