SGLang i Google przyspieszają Meta Muse Spark Open na pojedynczym hoście TPU v7

Projekt SGLang informuje, że Meta Muse Spark Open może działać na pojedynczym hoście TPU v7 z SGLang-TorchTPU oraz że we współpracy z RadixArk i Google przyspieszył model w obciążeniu agentowym AgentX firmy SemiAnalysis. Oto dane podane przez sam projekt:

• 3x szybsze dekodowanie przy małym rozmiarze batcha dzięki niestandardowemu megajądru i spekulacyjnemu dekodowaniu DFlash2.
• Dekodowanie szybsze o 18% w kontekstach o długości 500K tokenów.
• Szybsze przetwarzanie prefill dużych promptów agentowych dzięki połączonemu jądru MoE i równoległości sekwencji.
• Dwukrotnie większy kontekst na chip dzięki kompaktowemu cache KV fp8.
• Do 77% większa przepustowość agentów dzięki HiCache i usuwaniu danych z pamięci podręcznej uwzględniającemu sesje.

W poście PyTorch z 10 listopada, na który powołuje się SGLang, podano 433 tokeny na sekundę na użytkownika i do 25,9 tys. tokenów na sekundę na chip w AgentX przy kontekście 1M. Zgodnie z postem wszystkie 62 warstwy modelu MoE o 816 mld parametrów działają jako jeden program Pallas. Kod i przepisy są dostępne w SGLang cookbook, a zespół informuje, że pracuje nad rozdzieleniem prefill i dekodowania oraz dalszymi optymalizacjami mechanizmów attention i MoE.