Artificial Analysis: DeepSeek V4.1 Flash na GB300 NVL72 jest w ciągu miesiąca nawet 1,5 raza szybszy na agenta
Według Artificial Analysis szybkość DeepSeek V4.1 Flash na NVIDIA GB300 NVL72 wzrosła w ciągu ostatniego miesiąca nawet 1,5 raza pod względem liczby tokenów na sekundę na agenta w AA-AgentPerf — benchmarku systemów centrów danych uruchamiających realistyczne zadania agentowego programowania.
- Szybkość: 848 tok/s dla jednego agenta, wobec wcześniejszych 596 (1,42x).
- Przepustowość: około 1,6 raza większa przepustowość na GPU, przy około 80 tok/s na agenta.
Artificial Analysis przypisuje ten wzrost nowszej wersji vLLM, nowym kernelom vLLM dla DeepSeek V4.1 na GB300, automatycznemu dostrajaniu FlashInfer, szerszemu wykorzystaniu grafów CUDA, dostrojeniu dekodowania spekulatywnego oraz uruchamianiu prefill i decode na tych samych GPU w zaktualizowanej konfiguracji NVIDIA Dynamo + vLLM.
Źródła
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.