SGLang und Google beschleunigen Meta Muse Spark Open auf einem einzelnen TPU-v7-Host

Das SGLang-Projekt gibt an, dass Meta Muse Spark Open mit SGLang-TorchTPU auf einem einzelnen TPU-v7-Host ausgeführt werden kann. Außerdem habe es gemeinsam mit RadixArk und Google die Leistung unter der AgentX-Agenten-Workload von SemiAnalysis verbessert. Dies sind die Zahlen des Projekts:

• 3-mal schnelleres Decoding bei kleiner Batch-Größe dank eines benutzerdefinierten Megakernels und spekulativem DFlash2-Decoding.
• 18 % schnelleres Decoding bei Kontexten mit 500K Tokens.
• Schnelleres Prefill für umfangreiche Agenten-Prompts durch einen fusionierten MoE-Kernel und Sequence Parallelism.
• Doppelt so viel Kontext pro Chip dank eines kompakten fp8-KV-Caches.
• Bis zu 77 % mehr Agenten-Durchsatz mit HiCache und sitzungsbewusster Eviction.

Ein von SGLang zitierter PyTorch-Beitrag vom 10. November meldet bei AgentX mit einem Kontext von 1M 433 Tokens pro Sekunde und Nutzer sowie bis zu 25,9K Tokens pro Sekunde und Chip. Dem Beitrag zufolge laufen alle 62 Layer des MoE-Modells mit 816B Parametern als ein einziges Pallas-Programm. Code und Anleitungen finden sich im SGLang-Cookbook. Das Team gibt an, an der Entkopplung von Prefill und Decode sowie an weiteren Optimierungen für Attention und MoE zu arbeiten.