SGLang et Google accélèrent Muse Spark Open de Meta sur un seul hôte TPU v7

Le projet SGLang indique que Muse Spark Open de Meta peut fonctionner sur un seul hôte TPU v7 avec SGLang-TorchTPU, et qu’il a collaboré avec RadixArk et Google pour l’accélérer avec la charge de travail d’agent AgentX de SemiAnalysis. Voici les chiffres avancés par le projet :

• Décodage 3 fois plus rapide avec une petite taille de lot, grâce à un méganoyau personnalisé et au décodage spéculatif DFlash2.
• Décodage 18 % plus rapide avec des contextes de 500K tokens.
• Préremplissage plus rapide pour les grandes invites d’agent, grâce à un noyau MoE fusionné et au parallélisme de séquence.
• Deux fois plus de contexte par puce, grâce à un cache KV fp8 compact.
• Jusqu’à 77 % de débit supplémentaire pour les agents, grâce à HiCache et à l’éviction tenant compte des sessions.

Un post PyTorch du 10 novembre, cité par SGLang, fait état de 433 tokens par seconde et par utilisateur, et d’un maximum de 25,9K tokens par seconde et par puce sur AgentX avec un contexte de 1M. Il indique que les 62 couches du modèle MoE de 816B paramètres s’exécutent dans un seul programme Pallas. Le code et les recettes sont disponibles dans le cookbook de SGLang, et l’équipe indique travailler à la dissociation du préremplissage et du décodage ainsi qu’à d’autres optimisations de l’attention et du MoE.