vLLM 博客：借助智能体优化 NVIDIA GB300 上的 Kimi K3 解码

vLLM 项目博客于 2026 年 10 月 16 日发布了一篇由 NVIDIA 工程师撰写的文章，介绍了面向 NVIDIA GB300 GPU 上 Kimi K3 的统一 CuTe DSL 解码路径。作者借助编程智能体完成了其中大部分工作。

• 文章声称，在 16 张 GB300 GPU 上以 batch 1 运行 DSpark 推测解码（合成接受长度为 6），吞吐量超过 840 tokens/s。文章还称，在多个测试配置中，解码吞吐量提高了 1.5–2 倍；在 AgentX 工作负载上，P90 交互性能最高提升 1.8 倍。这些数据来自作者的基准测试。
• 文章还提出一项快速通道 RFC，用于模型专属优化，目标是减轻代码审查负担，因为智能体编写内核的速度已超过维护者的审查能力。Kimi K3 是采用这一做法的首个贡献。