SGLang и Google ускорили Meta Muse Spark Open на одном хосте TPU v7

По данным проекта SGLang, Meta Muse Spark Open можно запускать на одном хосте TPU v7 с помощью SGLang-TorchTPU. Проект также сообщает, что совместно с RadixArk и Google ускорил модель в тесте AgentX для агентов от SemiAnalysis. Вот показатели, приведённые самим проектом:

• Декодирование в 3 раза быстрее при небольшом размере пакета благодаря специальному мегаядру и спекулятивному декодированию DFlash2.
• Декодирование на 18% быстрее при контексте в 500K токенов.
• Более быстрый префилл больших запросов для агентов благодаря объединённому ядру MoE и параллелизму последовательностей.
• Вдвое больший контекст на чип благодаря компактному кэшу KV в формате fp8.
• До 77% выше пропускная способность для агентов благодаря HiCache и вытеснению с учётом сессий.

В публикации PyTorch от 10 ноября, на которую ссылается SGLang, сообщается о скорости 433 токена в секунду на пользователя и до 25,9 тыс. токенов в секунду на чип в AgentX с контекстом 1M. В ней говорится, что все 62 слоя модели MoE с 816 млрд параметров выполняются как одна программа Pallas. Код и инструкции доступны в кулинарной книге SGLang. Команда сообщает, что работает над разделением префилла и декодирования, а также над дальнейшей оптимизацией attention и MoE.