Artificial Analysis:DeepSeek V4.1 Flash 在 GB300 NVL72 上的單一代理速度一個月內最高提升 1.5 倍
Artificial Analysis 表示,在其 AA-AgentPerf 基準測試中,過去一個月 DeepSeek V4.1 Flash 在 NVIDIA GB300 NVL72 上的每個代理每秒 token 數最高提升 1.5 倍。AA-AgentPerf 用於測試執行真實代理式程式碼工作負載的資料中心系統。
- 速度: 單一代理達 848 tok/s,高於先前的 596(提升 1.42 倍)。
- 吞吐量: 每張 GPU 的吞吐量約提升至 1.6 倍,每個代理約為 80 tok/s。
Artificial Analysis 將這項提升歸因於較新的 vLLM 版本、為 GB300 上的 DeepSeek V4.1 新增的 vLLM 核心、FlashInfer 自動調校、更完整的 CUDA graph 涵蓋範圍、經調校的推測解碼,以及在 NVIDIA 更新後的 Dynamo + vLLM 配置中,讓 prefill 和 decode 在同一批 GPU 上執行。
來源
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。