SGLang en Google versnellen Meta's Muse Spark Open op één TPU v7-host

Volgens het SGLang-project kan Meta's Muse Spark Open op één TPU v7-host draaien met SGLang-TorchTPU. Het project zegt dat het met RadixArk en Google heeft samengewerkt om het model te versnellen onder de agentworkload AgentX van SemiAnalysis. Dit zijn de cijfers van het project zelf:

• 3x snellere decodering bij een kleine batchgrootte, met een aangepaste megakernel en speculatieve DFlash2-decodering.
• 18% snellere decodering bij contexten van 500K tokens.
• Snellere prefill voor grote agentprompts, met een gefuseerde MoE-kernel en sequence parallelism.
• Twee keer zoveel context per chip, met een compacte fp8 KV-cache.
• Tot 77% meer agentdoorvoer, met HiCache en sessiebewuste eviction.

Een PyTorch-bericht van 10 november, dat SGLang aanhaalt, meldt 433 tokens per seconde per gebruiker en tot 25,9K tokens per seconde per chip op AgentX met een context van 1M. Volgens het bericht draaien alle 62 lagen van het MoE-model met 816B parameters als één Pallas-programma. Code en recepten staan in het SGLang-kookboek. Het team zegt te werken aan het loskoppelen van prefill en decodering en aan verdere optimalisaties voor attention en MoE.