SGLang e Google aceleram o Muse Spark Open da Meta em um único host TPU v7

O projeto SGLang afirma que o Muse Spark Open da Meta pode rodar em um único host TPU v7 com o SGLang-TorchTPU e que trabalhou com a RadixArk e o Google para acelerá-lo na carga de trabalho do agente AgentX da SemiAnalysis. Estes são números divulgados pelo próprio projeto:

• Decodificação 3x mais rápida em lotes pequenos, com um megakernel personalizado e decodificação especulativa DFlash2.
• Decodificação 18% mais rápida em contextos de 500K tokens.
• Prefill mais rápido para prompts grandes de agentes, usando um kernel MoE fundido e paralelismo de sequência.
• O dobro de contexto por chip, com um cache KV fp8 compacto.
• Até 77% mais throughput de agentes, com HiCache e despejo de cache ciente da sessão.

Uma publicação da PyTorch de 10 de novembro, citada pelo SGLang, informa 433 tokens por segundo por usuário e até 25,9K tokens por segundo por chip no AgentX com contexto de 1M. Ela diz que todas as 62 camadas do modelo MoE de 816B parâmetros são executadas como um único programa Pallas. O código e as receitas estão no cookbook do SGLang, e a equipe afirma estar trabalhando na desagregação de prefill e decode e em novas otimizações de atenção e MoE.