SGLang과 Google, 단일 TPU v7 호스트에서 Meta의 Muse Spark Open 속도 향상

SGLang 프로젝트에 따르면 Meta의 Muse Spark Open은 SGLang-TorchTPU를 사용해 단일 TPU v7 호스트에서 실행할 수 있으며, SemiAnalysis의 AgentX 에이전트 워크로드에서 성능을 높이기 위해 RadixArk 및 Google과 협력했습니다. 다음은 프로젝트가 공개한 자체 측정 수치입니다.

• 배치 크기가 작을 때 사용자 지정 메가커널과 DFlash2 추측 디코딩을 사용해 디코딩 속도 3배 향상.
• 500K 토큰 컨텍스트에서 디코딩 속도 18% 향상.
• 융합 MoE 커널과 시퀀스 병렬 처리를 사용해 대규모 에이전트 프롬프트의 프리필 속도 향상.
• 소형 fp8 KV 캐시로 칩당 컨텍스트 용량 2배 증가.
• HiCache와 세션 인지형 퇴출을 사용해 에이전트 처리량 최대 77% 향상.

SGLang이 인용한 11월 10일자 PyTorch 게시물은 컨텍스트 길이 1M의 AgentX에서 사용자당 초당 433토큰, 칩당 최대 초당 25.9K토큰을 기록했다고 전합니다. 816B 파라미터 MoE 모델의 62개 레이어 전체가 하나의 Pallas 프로그램으로 실행된다고 설명합니다. 코드와 레시피는 SGLang cookbook에서 확인할 수 있으며, 팀은 프리필/디코드 분리와 추가적인 attention 및 MoE 최적화도 진행 중이라고 밝혔습니다.