Artificial Analysis: DeepSeek V4.1 Flash trên GB300 NVL72 nhanh hơn tới 1,5 lần mỗi tác tử trong một tháng

Artificial Analysis cho biết tốc độ của DeepSeek V4.1 Flash trên NVIDIA GB300 NVL72 đã tăng tới 1,5 lần số token mỗi giây trên mỗi tác tử trong tháng qua theo AA-AgentPerf, bài đánh giá của họ về các hệ thống trung tâm dữ liệu chạy những tác vụ lập trình tác tử thực tế.

• Tốc độ: 848 tok/s cho một tác tử, tăng từ 596 (1,42 lần).
• Thông lượng: thông lượng trên mỗi GPU cao hơn khoảng 1,6 lần, đạt khoảng 80 tok/s trên mỗi tác tử.

Artificial Analysis cho rằng mức tăng này đến từ phiên bản vLLM mới hơn, các kernel vLLM mới cho DeepSeek V4.1 trên GB300, tính năng tự tinh chỉnh của FlashInfer, phạm vi bao phủ CUDA graph đầy đủ hơn, giải mã suy đoán được tinh chỉnh và việc chạy prefill cùng decode trên cùng các GPU trong cấu hình Dynamo + vLLM được NVIDIA cập nhật.