GitHub 爆发仓库· 产品· 2026年10月21日 08:41

DeepSeek 开源生产级推理框架 DeepInfer，支持 DeepSeek-V4.1-Flash

原标题：deepseek-ai/DeepInfer: DeepInfer: High-performance, large-scale inference framework for DeepSeek models

deepseek-ai 在 GitHub 开源推理框架 DeepInfer，即 DeepSeek 大规模生产服务所用的高性能推理框架，支持离线推理，目前支持模型 DeepSeek-V4.1-Flash。特性包括优化内核（FlashMLA、DeepGEMM、DeepEP 等）、Attention DP/CP 与 MoE EP 并行、DSpark 置信度调度验证、异步调度、批不变推理、确定性采样和结构化输出，硬件支持 NVIDIA SM100 GPU 与华为昇腾 950 NPU，基于 vLLM 构建，采用 Apache License 2.0；KV cache 系统和 Prefill/Decode 分离等未包含在此版本中。

为什么值得看

README 列出了支持的模型、并行与调度特性、硬件和依赖版本，读者可据此评估能否部署到自己的服务中。

阅读原文 ↗

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。

事件综述

DeepSeek 开源生产级推理框架 DeepInfer

2026年10月20日，DeepSeek 宣布其自研推理框架 DeepInfer 完全开源。官方称该框架以高吞吐、低延迟支撑 DeepSeek-V4.1-Flash 的规模化推理，并希望分享生产级技术栈帮助社区降低算力成本与能耗。10月21日的跟进报道显示，DeepInfer 已在 GitHub（deepseek-ai 组织）开源，即 DeepSeek 大规模生产服务所用的推理框架，目前支持模型为 DeepSeek-V4.1-Flash，支持离线推理。其特性包括优化内核（FlashMLA、DeepGEMM、DeepEP 等）、Attention DP/CP 与 MoE EP 并行、DSpark 置信度调度验证、异步调度、批不变推理、确定性采样和结构化输出；硬件方面支持 NVIDIA SM100 GPU 与华为昇腾 950 NPU。框架基于 vLLM 构建，采用 Apache License 2.0 许可。跟进报道同时指出，KV cache 系统和 Prefill/Decode 分离等功能未包含在此版本中。目前两篇报道对事件本身说法一致，开源仓库已发布，后续功能迭代情况尚待观察。

其他来源的报道 1