Artificial Analysis:DeepSeek V4.1 Flash 在 GB300 NVL72 上的单个智能体速度在一个月内最高提升 1.5 倍
Artificial Analysis 表示,在 AA-AgentPerf(其针对运行真实智能体编码工作负载的数据中心系统的基准测试)中,过去一个月,DeepSeek V4.1 Flash 在 NVIDIA GB300 NVL72 上的每个智能体每秒生成 token 数最高提升了 1.5 倍。
- 速度:单个智能体达到 848 tok/s,高于此前的 596(提升 1.42 倍)。
- 吞吐量:每块 GPU 的吞吐量约提升至 1.6 倍,每个智能体约为 80 tok/s。
Artificial Analysis 将这一提升归因于更新的 vLLM 版本、针对 GB300 上 DeepSeek V4.1 的新 vLLM 内核、FlashInfer 自动调优、更全面的 CUDA graph 覆盖、经过调优的推测解码,以及在 NVIDIA 更新后的 Dynamo + vLLM 配置中,让预填充和解码运行在同一组 GPU 上。
来源
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。