SGLangとGoogle、単一のTPU v7ホストでMetaのMuse Spark Openを高速化

SGLangプロジェクトによると、MetaのMuse Spark OpenはSGLang-TorchTPUを使って単一のTPU v7ホストで実行できる。また、SemiAnalysisのAgentXエージェント負荷のもとで高速化するため、RadixArkおよびGoogleと協力したという。以下はプロジェクト独自の数値だ。

• 小さなバッチサイズでデコードが3倍高速化。カスタムmegakernelとDFlash2による投機的デコードを使用。
• 500Kトークンのコンテキストで、デコードが18%高速化。
• 融合MoEカーネルとシーケンス並列化により、大規模なエージェントプロンプトのプリフィルが高速化。
• コンパクトなfp8 KVキャッシュにより、チップあたりのコンテキスト長が2倍に。
• HiCacheとセッションを考慮した退避により、エージェントのスループットが最大77%向上。

SGLangが引用した11月10日のPyTorchの投稿では、コンテキスト長1MのAgentXで、ユーザーあたり毎秒433トークン、チップあたり最大毎秒25.9Kトークンを報告している。816BパラメーターのMoEモデルの全62層が、1つのPallasプログラムとして実行されるという。コードとレシピはSGLangのcookbookで公開されており、チームはプリフィルとデコードの分離、ならびにアテンションとMoEのさらなる最適化に取り組んでいる。