SGLang dan Google mempercepat Meta's Muse Spark Open di satu host TPU v7

Proyek SGLang menyebut Meta's Muse Spark Open dapat dijalankan di satu host TPU v7 dengan SGLang-TorchTPU, dan bahwa mereka bekerja sama dengan RadixArk dan Google untuk mempercepatnya dalam beban kerja agen AgentX dari SemiAnalysis. Berikut angka dari proyek tersebut:

• Decode 3x lebih cepat pada ukuran batch kecil, dengan megakernel khusus dan speculative decoding DFlash2.
• Decode 18% lebih cepat pada konteks 500K token.
• Prefill lebih cepat untuk prompt agen yang besar, menggunakan kernel MoE terpadu dan paralelisme urutan.
• Kapasitas konteks per chip dua kali lipat, dengan cache KV fp8 yang ringkas.
• Throughput agen hingga 77% lebih tinggi, dengan HiCache dan penggusuran yang mempertimbangkan sesi.

Unggahan PyTorch tertanggal 10 November yang dikutip SGLang melaporkan 433 token per detik per pengguna dan hingga 25,9K token per detik per chip pada AgentX dengan konteks 1M. Unggahan itu menyebut seluruh 62 lapisan model MoE berparameter 816B dijalankan sebagai satu program Pallas. Kode dan resep tersedia di buku resep SGLang, dan tim tersebut mengatakan sedang mengerjakan disaggregasi prefill/decode serta optimasi attention dan MoE lebih lanjut.