SGLang e Google accelerano Meta's Muse Spark Open su un singolo host TPU v7

Il progetto SGLang afferma che Meta's Muse Spark Open può essere eseguito su un singolo host TPU v7 con SGLang-TorchTPU e che ha collaborato con RadixArk e Google per accelerarlo con il carico di lavoro per agenti AgentX di SemiAnalysis. Questi sono i dati dichiarati dal progetto:

• Decodifica 3 volte più veloce con batch di piccole dimensioni, grazie a un megakernel personalizzato e alla decodifica speculativa DFlash2.
• Decodifica più veloce del 18% su contesti da 500K token.
• Prefill più rapido per prompt di agenti di grandi dimensioni, grazie a un kernel MoE fuso e al parallelismo di sequenza.
• Il doppio del contesto per chip, grazie a una cache KV compatta in fp8.
• Fino al 77% di throughput in più per gli agenti, grazie a HiCache e all'espulsione degli elementi dalla cache basata sulle sessioni.

Un post di PyTorch del 10 novembre, citato da SGLang, riporta 433 token al secondo per utente e fino a 25,9K token al secondo per chip su AgentX con un contesto da 1M. Afferma che tutti i 62 layer del modello MoE da 816B parametri vengono eseguiti come un unico programma Pallas. Codice e ricette sono disponibili nel cookbook di SGLang; il team afferma che sta lavorando alla separazione tra prefill e decodifica e a ulteriori ottimizzazioni di attention e MoE.