AI Tracker下载 App
← 全部新闻

vLLM称其现已在DeepSeek-V4.1-Flash上达到DeepSeek的DeepInfer引擎水平

vLLM项目称,其推理引擎现已在批量大小为8至256时,按照DeepSeek的解码配置,达到DeepSeek自研的DeepSeek-V4.1-Flash引擎DeepInfer的水平。vLLM称,它是在DEP32配置下(32张GPU上的数据并行注意力与专家并行),与DeepInfer的EP64DP64配置进行比较后取得这一成绩。

据vLLM称,DeepInfer最初基于vLLM构建;vLLM通过集成DeepSeek的开源内核,并对预填充和解码进行了大量优化,取得了这些结果。帖子附有性能图表;这些数据由vLLM自行提供,尚未经过独立核实。截至10月24日,该帖子在X上约有307个赞。

这样的新闻,第一时间推送给你。

你用的 AI 工具一有变化,AI Tracker 就会提醒你。

下载 App