SGLang afirma que agora iguala o mecanismo DeepInfer da DeepSeek no DeepSeek-V4.1-Flash
O projeto SGLang afirma que seu mecanismo de inferência agora iguala o DeepInfer, mecanismo próprio da DeepSeek, tanto no prefill quanto no decode do DeepSeek-V4.1-Flash. Poucas horas depois de o vLLM fazer uma afirmação semelhante, o SGLang relatou até 1,04× a taxa de processamento de prefill do DeepInfer em 4× GB300 e 4× B300, e até 7,4% a mais de taxa de processamento de decode em 64× GB300.
O SGLang também afirma que oferece um guia de reprodução de ponta a ponta e uma stack completa de serving para executar a configuração em produção. Os números são do próprio SGLang e não foram verificados de forma independente. A publicação tinha cerca de 149 curtidas no X em 24 de outubro.
Fontes
- O DeepInfer definiu o padrão. O SGLang elevou ainda mais a barra! 🚀X · 16 comentários
Receba notícias como esta por push.
O AI Tracker avisa você quando algo muda nas ferramentas que você usa.