Artificial Analysis: GB300 NVL72 पर DeepSeek V4.1 Flash की गति एक महीने में प्रति एजेंट 1.5 गुना तक बढ़ी

Artificial Analysis के अनुसार, NVIDIA GB300 NVL72 पर DeepSeek V4.1 Flash की गति पिछले महीने AA-AgentPerf पर प्रति एजेंट टोकन प्रति सेकंड में 1.5 गुना तक बढ़ी है। AA-AgentPerf, डेटासेंटर सिस्टमों का उसका बेंचमार्क है, जो वास्तविक दुनिया के एजेंट-आधारित कोडिंग कार्यभार चलाते हैं।

• गति: एक एजेंट के लिए 848 tok/s, जो पहले 596 थी (1.42 गुना)।
• थ्रूपुट: प्रति GPU थ्रूपुट लगभग 1.6 गुना, और प्रति एजेंट लगभग 80 tok/s।

Artificial Analysis इस बढ़त का श्रेय vLLM के नए संस्करण, GB300 पर DeepSeek V4.1 के लिए नए vLLM kernels, FlashInfer autotuning, CUDA graph के अधिक व्यापक कवरेज, tuned speculative decoding, और NVIDIA के अपडेटेड Dynamo + vLLM सेटअप में prefill तथा decode को उन्हीं GPUs पर चलाने को देता है।