SGLang y Google aceleran Meta's Muse Spark Open en un único host TPU v7

El proyecto SGLang afirma que Meta's Muse Spark Open puede ejecutarse en un único host TPU v7 con SGLang-TorchTPU y que ha trabajado con RadixArk y Google para acelerarlo con la carga de trabajo de agentes AgentX de SemiAnalysis. Estas son las cifras del propio proyecto:

• Decodificación 3 veces más rápida con un tamaño de lote pequeño, gracias a un megakernel personalizado y a la decodificación especulativa DFlash2.
• Decodificación un 18 % más rápida en contextos de 500K tokens.
• Prefill más rápido para prompts de agentes extensos, mediante un kernel MoE fusionado y paralelismo de secuencias.
• El doble de contexto por chip, con una caché KV fp8 compacta.
• Hasta un 77 % más de rendimiento de agentes, con HiCache y expulsión de caché que tiene en cuenta las sesiones.

Una publicación de PyTorch del 10 de noviembre, citada por SGLang, informa de 433 tokens por segundo por usuario y hasta 25,9K tokens por segundo por chip en AgentX con un contexto de 1M. Según la publicación, las 62 capas del modelo MoE de 816B parámetros se ejecutan como un único programa Pallas. El código y las recetas están en el libro de cocina de SGLang, y el equipo afirma que está trabajando en la disgregación de prefill y decodificación, además de seguir optimizando la atención y MoE.