Artificial Analysis: DeepSeek V4.1 Flash op GB300 NVL72 is in een maand tot 1,5× sneller per agent

Volgens Artificial Analysis is de snelheid van DeepSeek V4.1 Flash op NVIDIA GB300 NVL72 de afgelopen maand op AA-AgentPerf met maximaal 1,5× gestegen in tokens per seconde per agent. AA-AgentPerf is hun benchmark van datacentersystemen die realistische agentische programmeerworkloads uitvoeren.

• Snelheid: 848 tok/s voor één agent, tegenover 596 eerder (1,42×).
• Doorvoer: ongeveer 1,6× zoveel doorvoer per GPU, bij ongeveer 80 tok/s per agent.

Artificial Analysis schrijft de winst toe aan een nieuwere versie van vLLM, nieuwe vLLM-kernels voor DeepSeek V4.1 op GB300, autotuning met FlashInfer, uitgebreidere dekking van CUDA-graphs, afgestemde speculatieve decoding en het uitvoeren van prefill en decode op dezelfde GPU's in NVIDIA's bijgewerkte Dynamo + vLLM-configuratie.