SGLang ve Google, Meta'nın Muse Spark Open modelini tek bir TPU v7 sunucusunda hızlandırıyor

SGLang projesine göre Meta'nın Muse Spark Open modeli, SGLang-TorchTPU ile tek bir TPU v7 sunucusunda çalıştırılabiliyor. Proje, SemiAnalysis'in AgentX ajan iş yükünde modeli hızlandırmak için RadixArk ve Google ile birlikte çalıştığını söylüyor. Bunlar projenin kendi verileri:

• Özel bir megakernel ve DFlash2 spekülatif kod çözme ile küçük batch boyutlarında 3 kat daha hızlı decode.
• 500K tokenlık bağlamlarda %18 daha hızlı decode.
• Birleştirilmiş MoE kernel'i ve dizi paralelliği kullanılarak büyük ajan istemleri için daha hızlı prefill.
• Kompakt fp8 KV cache ile çip başına iki kat bağlam kapasitesi.
• HiCache ve oturum farkındalıklı tahliye ile %77'ye kadar daha fazla ajan iş hacmi.

SGLang'ın alıntıladığı 10 Kasım tarihli bir PyTorch paylaşımında, 1M bağlamda AgentX üzerinde kullanıcı başına saniyede 433 token ve çip başına saniyede 25,9K'ya kadar token bildiriliyor. Paylaşımda, 816B parametreli MoE modelinin 62 katmanının tamamının tek bir Pallas programı olarak çalıştığı belirtiliyor. Kod ve tarifler SGLang cookbook'ta yer alıyor; ekip ayrıca prefill/decode ayrıştırması ve dikkat mekanizması ile MoE için ek optimizasyonlar üzerinde çalıştığını söylüyor.