Artificial Analysis: GB300 NVL72에서 DeepSeek V4.1 Flash의 에이전트당 속도가 한 달 만에 최대 1.5배 향상

Artificial Analysis에 따르면, 현실적인 에이전트형 코딩 워크로드를 실행하는 데이터센터 시스템을 벤치마크하는 AA-AgentPerf에서 NVIDIA GB300 NVL72의 DeepSeek V4.1 Flash 처리 속도가 지난 한 달 동안 에이전트당 초당 토큰 수 기준 최대 1.5배 향상됐습니다.

• 속도: 단일 에이전트 기준 848 tok/s로, 기존 596 tok/s에서 상승(1.42배).
• 처리량: 에이전트당 약 80 tok/s에서 GPU당 처리량이 약 1.6배.

Artificial Analysis는 이러한 향상의 원인으로 최신 vLLM 버전, GB300에서 DeepSeek V4.1을 지원하는 새로운 vLLM 커널, FlashInfer 자동 튜닝, CUDA 그래프 적용 범위 확대, 조정된 추측 디코딩, 그리고 NVIDIA의 업데이트된 Dynamo + vLLM 구성에서 동일한 GPU로 프리필과 디코드를 실행하는 점을 꼽았습니다.