AI Tracker下載 App
← 所有新聞

vLLM 稱在 DeepSeek-V4.1-Flash 上,效能如今已追上 DeepSeek 的 DeepInfer 引擎

vLLM 專案表示,其推論引擎在 DeepSeek-V4.1-Flash 上,使用 DeepSeek 的解碼設定、批次大小 8 到 256 時,效能如今已追上 DeepSeek 自家的引擎 DeepInfer。vLLM 表示,它以 DEP32(在 32 張 GPU 上進行資料平行注意力與專家平行),達到這項表現;DeepInfer 使用的則是 EP64DP64 設定。

vLLM 表示,DeepInfer 最初是以 vLLM 為基礎打造,並透過整合 DeepSeek 的開源 kernels,以及大幅最佳化 prefill 和 decode,達到這些結果。貼文附有一張效能圖表;數據來自 vLLM,尚未經過獨立查證。截自 10 月 24 日,該貼文在 X 上約有 307 個讚。

這樣的新聞,第一時間推播給你。

你使用的 AI 工具一有變化,AI Tracker 就會通知你。

下載 App