Artificial Analysis: DeepSeek V4.1 Flash auf GB300 NVL72 ist pro Agent innerhalb eines Monats bis zu 1,5-mal schneller

Laut Artificial Analysis ist die Geschwindigkeit von DeepSeek V4.1 Flash auf NVIDIA GB300 NVL72 im vergangenen Monat bei AA-AgentPerf, dem Benchmark für Rechenzentrumsysteme mit realistischen agentischen Coding-Workloads, um bis zu 1,5-mal so viele Tokens pro Sekunde und Agent gestiegen.

• Geschwindigkeit: 848 tok/s für einen einzelnen Agenten, gegenüber zuvor 596 (1,42-mal so viel).
• Durchsatz: etwa 1,6-mal so hoher Durchsatz pro GPU bei rund 80 tok/s pro Agent.

Artificial Analysis führt den Zuwachs auf eine neuere vLLM-Version, neue vLLM-Kernels für DeepSeek V4.1 auf GB300, FlashInfer-Autotuning, eine umfassendere Abdeckung durch CUDA Graphs, optimiertes Speculative Decoding sowie darauf zurück, dass Prefill und Decode im aktualisierten Setup mit Dynamo + vLLM von NVIDIA auf denselben GPUs ausgeführt werden.