DeepSeek 开源其推理引擎 DeepInfer

DeepSeek 已在 GitHub（deepseek-ai/DeepInfer）上以 Apache-2.0 许可证发布 DeepInfer。README 称，这是为 DeepSeek 大规模生产服务提供支持的推理框架。该发布于 10 月 20 日在 Hacker News 上分享。以下详情摘自仓库 README。

• 范围：这是一个离线推理版本。README 列出了构成完整推理服务所需、但未包含在内的内容：KV 缓存系统、预填充/解码分离（据称大部分已在引擎中实现），以及跨数据并行副本的负载均衡。
• 模型和硬件：目前仅支持 DeepSeek-V4.1-Flash（默认检查点为 DeepSeek-V4.1-Flash-1017），运行于 NVIDIA SM100 GPU 和 Huawei Ascend 950 NPU 上。
• 列出的功能：自定义内核（FlashMLA、DeepGEMM、DeepEP、TileKernels 等）、注意力数据并行和带负载均衡的 MoE 专家并行、带置信度调度验证的 DSpark、用于滑动窗口注意力的有界重放、异步调度、批次不变推理和确定性采样（仅限 NVIDIA），以及结构化输出（正则表达式、JSON schema、EBNF）。
• 基准测试：README 展示了预填充和解码图表；DeepSeek 测试预填充时使用 4 块 GPU，测试解码时使用 64 块。
• README 称，DeepInfer 最初主要基于 vLLM 构建，同时借鉴了 SGLang 和 TensorRT-LLM。

10 月 21 日的 TLDR AI 新闻简报链接了一篇题为“DeepSeek V4.1 Flash: Large-Scale Inference Deployment”的文章。TLDR 的摘要（未经独立核实）称，DeepInfer 整合了分布式推理、缓存、负载均衡和推测解码；DeepSeek 每个集群每天处理 155 万亿个 token，每 GPU 小时收入为 $38。

截至 10 月 20 日，该仓库约有 11,100 个 star 和 989 个 fork，Hacker News 讨论帖有 2,274 分和 873 条评论。