SGLang và Google tăng tốc Meta's Muse Spark Open trên một máy chủ TPU v7 duy nhất

Dự án SGLang cho biết Meta's Muse Spark Open có thể chạy trên một máy chủ TPU v7 duy nhất với SGLang-TorchTPU, đồng thời cho biết họ đã hợp tác với RadixArk và Google để tăng tốc mô hình trong workload agent AgentX của SemiAnalysis. Đây là các số liệu do chính dự án công bố:

• Giải mã nhanh hơn 3x ở batch size nhỏ, nhờ megakernel tùy chỉnh và giải mã suy đoán DFlash2.
• Giải mã nhanh hơn 18% với ngữ cảnh 500K token.
• Prefill nhanh hơn cho các prompt agent lớn, nhờ kernel MoE hợp nhất và xử lý song song theo chuỗi.
• Gấp đôi dung lượng ngữ cảnh trên mỗi chip nhờ bộ nhớ đệm KV fp8 nhỏ gọn.
• Thông lượng agent tăng đến 77% nhờ HiCache và cơ chế loại bỏ dữ liệu có xét đến phiên.

Một bài đăng trên PyTorch ngày 10 tháng 11, được SGLang trích dẫn, báo cáo tốc độ 433 token mỗi giây cho mỗi người dùng và tối đa 25,9K token mỗi giây trên mỗi chip khi chạy AgentX với ngữ cảnh 1M. Bài đăng cho biết cả 62 lớp của mô hình MoE 816B tham số đều chạy dưới dạng một chương trình Pallas. Mã và hướng dẫn cấu hình có trong SGLang cookbook; nhóm cho biết họ đang phát triển phương thức tách biệt prefill/decode và tiếp tục tối ưu attention cùng MoE.