SGLang 與 Google 加速 Meta 的 Muse Spark Open 在單一 TPU v7 主機上的運行

SGLang 專案表示，Meta 的 Muse Spark Open 可透過 SGLang-TorchTPU 在單一 TPU v7 主機上運行；該專案也表示，已與 RadixArk 和 Google 合作，針對 SemiAnalysis 的 AgentX 代理工作負載加速運行。以下數據為專案自行公布：

• 小批次解碼速度提升 3 倍，採用自訂 megakernel 和 DFlash2 speculative decoding。
• 在 500K-token 上下文中，解碼速度提升 18%。
• 透過融合式 MoE kernel 和序列平行處理，加快大型代理提示的 prefill。
• 採用精簡的 fp8 KV cache，讓每個晶片可處理的上下文量加倍。
• 透過 HiCache 和感知工作階段的淘汰機制，代理吞吐量最高提升 77%。

SGLang 引述的 PyTorch 11 月 10 日貼文指出，在 AgentX、1M 上下文下，每位使用者每秒可處理 433 個 token，每個晶片每秒最高可處理 25.9K 個 token。貼文表示，這個 816B 參數的 MoE 模型，其全部 62 層都以單一 Pallas 程式執行。程式碼和操作配方收錄於 SGLang cookbook；團隊表示，正著手開發 prefill/decode 分離，並進一步最佳化 attention 和 MoE。