SGLang 与 Google 加速 Meta 的 Muse Spark Open 在单台 TPU v7 主机上的运行

SGLang 项目表示，借助 SGLang-TorchTPU，Meta 的 Muse Spark Open 可以在单台 TPU v7 主机上运行；该项目还称，它与 RadixArk 和 Google 合作，针对 SemiAnalysis 的 AgentX 智能体工作负载进行了加速。以下数据来自项目方：

• 小批量下解码速度提升 3 倍，采用定制 megakernel 和 DFlash2 speculative decoding。
• 在 500K-token 上下文下，解码速度提升 18%。
• 通过融合 MoE 内核和序列并行，加快大型智能体提示词的预填充速度。
• 借助紧凑型 fp8 KV 缓存，每个芯片支持的上下文长度翻倍。
• 通过 HiCache 和基于会话的驱逐策略，智能体吞吐量最高提升 77%。

SGLang 引用的 11 月 10 日 PyTorch 帖子称，在 1M 上下文的 AgentX 测试中，每位用户的速度达到每秒 433 个 token，每个芯片的速度最高达到每秒 25.9K 个 token。帖子称，这个拥有 816B 参数的 MoE 模型的全部 62 层都作为一个 Pallas 程序运行。代码和配置方案见 SGLang cookbook；团队表示，正在研究预填充/解码分离，以及进一步优化注意力机制和 MoE。