Artificial Analysis: DeepSeek V4.1 Flash di GB300 NVL72 hingga 1,5x lebih cepat per agen dalam sebulan

Artificial Analysis menyebutkan bahwa kecepatan DeepSeek V4.1 Flash pada NVIDIA GB300 NVL72 meningkat hingga 1,5x token per detik per agen selama sebulan terakhir di AA-AgentPerf, tolok ukur mereka untuk sistem pusat data yang menjalankan beban kerja coding agen yang realistis.

• Kecepatan: 848 tok/s untuk satu agen, naik dari 596 (1,42x).
• Throughput: sekitar 1,6x throughput per GPU, dengan sekitar 80 tok/s per agen.

Artificial Analysis mengaitkan peningkatan ini dengan versi vLLM yang lebih baru, kernel vLLM baru untuk DeepSeek V4.1 di GB300, autotuning FlashInfer, cakupan CUDA graph yang lebih luas, speculative decoding yang disetel, serta menjalankan prefill dan decode pada GPU yang sama dalam pengaturan Dynamo + vLLM NVIDIA yang diperbarui.