DeepInfer：DeepSeek 把每天 155 万亿 token 的生产推理框架开源了

模型能力收敛后，推理成本重新成为决定 AI 服务定价的变量。DeepSeek 在 2026 年 10 月以 Apache-2.0 开源了支撑 V4.1 Flash 线上服务的推理框架 DeepInfer，并放出配套 token 编解码组件 deepseek-recipe。官方口径是单集群每天 155 万亿 token、谷时每 GPU-hour 收益约 38 美元。

一句话定位

DeepInfer 是 DeepSeek 官方开源的大规模推理框架，本次只放出离线推理部分：Wide-EP + EPLB 并行、DSpark 投机解码、SWA 有界回放、异步调度、batch-invariant 与结构化输出，只服务 DeepSeek-V4.1-Flash，只跑在 NVIDIA SM100 与昇腾 950。

技术栈

• 语言：Python 为主（约 2.3 MB）+ C++ / CUDA 内核层（约 278 KB）+ Shell 构建脚本
• 内核依赖：FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 与自研 TileLang kernels
• 并行策略：Attention DP / balanced CP，MoE EP + EPLB；生产配置 Prefill EP2–8 / DP2–8、Decode EP64–128（Wide-EP），VE 单卡，暂不用 TP / CP
• 运行环境：Linux、GCC >= 13、Python 3.12；NVIDIA 走 CUDA 13，昇腾走 CANN 9.2
• 模型：DeepSeek-V4.1-Flash（默认 checkpoint deepseek-ai/DeepSeek-V4.1-Flash-1017）
• 配套组件：deepseek-recipe，做 API 协议与 token 序列双向转换，行为对齐官方 API
• 上游血缘：最初主要基于 vLLM 构建，另借鉴 SGLang 与 TensorRT-LLM
• 许可：Apache-2.0

核心功能

Wide-EP + EPLB 专家负载均衡 decode 把 EP 拉到 64–128，每卡留少量冗余专家承载热点副本，按最近 N 步统计每 M 步重排；实测 moe_lb（最慢 rank / 均值）prefill 1.074、decode 1.090。

DSpark 投机解码与置信度验证 用 draft token 加速解码、按置信度调度验证；DEEPINFER_ENABLE_MTP_VARLEN=1 打开，DEEPINFER_USE_NEXTN_DECODE 控制最大 draft 长度，默认 5。

SWA 有界回放 decoder prefill 只重放有界后缀，DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact 配 DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140 即 V4.1 默认值，后缀须覆盖 SWA 窗口加最大回溯长度。

零开销异步调度 CPU 侧 batch 调度与设备执行重叠，默认开启；prefill 每步按 compute_quota_limit 时间预算，用二次成本模型反解 chunk 大小，吃满 32,768 token 上限内的预算。

Batch-invariant 与确定性采样 DEEPINFER_BATCH_INVARIANT=1（仅 NVIDIA）让不同 batch 组合结果一致；再关掉 MTP varlen 并给 SamplingParams 传固定 seq_seed，即得同输出。

结构化输出 so_args 传 schema_type 与 schema，支持 regex、JSON schema 与 EBNF 约束生成，examples 内有可直接跑的样例。

export DEEPINFER_ACCELERATOR=nvidia   # 昇腾平台改为 ascend
./build.sh
python examples/offline_inference.py

对比 vLLM、SGLang 与 TensorRT-LLM

差异化在于：DeepInfer 不是又一个通用推理引擎，而是把一套已在线上跑通、按「prefill 用 8 卡机、decode 用 64–128 卡超节点」组织的专用系统连参数公开；前三者给通用能力，它给可对照的生产基线。

客观短板

• 只支持 DeepSeek-V4.1-Flash 一个模型，不能当通用推理引擎用，换模型即失效。
• 本次只开源离线推理，README 明确未包含 KV cache 系统、VE/Prefill/Decode 分离与 DP 副本负载均衡，照搬起不了生产服务。
• 硬件门槛极高：仅 NVIDIA SM100 与昇腾 950，官方最小高效部署单元是 64 卡 prefill + 64 卡 decode。
• 无 release、无 tag，只能源码 ./build.sh；仓库 2026-10-16 创建、10-20 才有 initial commit，提交历史仅数条。
• 环境苛刻：GCC >= 13 + Python 3.12 + CUDA 13 / CANN 9.2，与大量仍在 CUDA 12.x 的现存集群不兼容。
• 229 个 open issue，contributors 接口只返回 4 位贡献者（提交数 1–2）；文档全英文，仓库内仅 README 与一份部署问答。

适合谁，不适合谁

适合：要私有化部署 V4.1-Flash 的推理团队与云厂商；研究 Wide-EP、EPLB、KV cache 分级存储与 P/D 分离的系统工程师；需要确定性采样复现评测的研究者；做昇腾 950 适配的国产化团队。

不适合：只想 pip install 起个 OpenAI 兼容服务的应用开发者；跑非 DeepSeek 模型或多模型混部的平台；只有 8 卡 A100 / 4090 的个人与小团队；强依赖 CUDA 12.x、短期升不到 CUDA 13 的集群。

普通开发者能学到什么

• Wide-EP 与 EPLB 的取舍：为什么 decode 要拉到 EP64 以上、冗余专家与统计窗口如何影响 moe_lb
• 时间预算驱动的 chunk 求解：用二次成本模型在 32,768 token 上限内反解 prefill chunk，而非固定切块
• KV cache 分级存储：3FS 10+2 纠删码、每组容忍两节点故障、每 GPU 约 14.4 TB 逻辑容量、LRU GC 水位控制
• P/D 分离的带宽与选址约束：每 8 GPU 约 400 Gbps 互联、相邻机房部署及其可靠性代价
• batch-invariant 加 seq_seed 的确定性组合，用于评测复现与回归排查
• 双平台同源构建：一个 DEEPINFER_ACCELERATOR 开关切 CUDA 13 与 CANN 9.2

独立开发者价值

上手成本高，但仍有切片可用：没有 128 卡也能读源码、跑 examples/sweep 基准脚本理解调度，或把 DSpark、SWA 有界回放的思路搬进自己的 vLLM / SGLang 部署。门槛是硬件，不是代码。

二次开发集中在内核与调度层。Apache-2.0 允许商用与闭源再分发，可基于其 kernel 组合做昇腾适配服务，或把 deepseek-recipe 的协议对齐接到自己的 API 网关。

变现路径三条：给已有 SM100 / 昇腾 950 集群的企业做私有化部署与调优，按项目 20-80 万；做推理成本审计与并行策略咨询，按天 5000-20000 元；把 batch-invariant 评测复现做成工具，按月 999-4999 元。

合规上 Apache-2.0 附带专利授权；但框架不等于权重，模型另受 DeepSeek 许可约束，默认 checkpoint 需从 Hugging Face 拉取，内网要自备镜像或用 DEEPINFER_HF_MODEL_DIR 指向本地。

中文开发者友好度

• 文档：仓库内 README 与 doc/inference_deployment_qa.md 全英文，无官方中文版；架构另有官方知乎长文可作中文入口
• 社区：Issue 与 PR 以英文为主，仓库 2026-10-16 才创建、贡献者仅 4 人，中文答疑渠道尚未形成
• 响应：最后提交是 2026-10-25 的 fix: validate boolean environment variables with strict parsing (#218)，229 个 open issue 的处理节奏仍待观察
• 访问：GitHub 国内直连可用，默认 checkpoint 在 Hugging Face，需自备镜像或代理；昇腾路径依赖 CANN 9.2

总结

DeepInfer 的价值不在「又多了个能跑的推理引擎」，而在于它把一套按 155 万亿 token/天 打磨过的系统，连同 EP/DP 配置、EPLB 参数、KV cache 存储规格与负载均衡思路一起摊开——带真实生产数字的开源资料在推理领域极稀缺。

如果你在做 V4.1-Flash 私有化部署，或想搞懂 P/D 分离与 Wide-EP 怎么落到参数上，先读完那份部署问答再决定要不要 build，它比代码更早给答案。

GitHub: deepseek-ai/DeepInfer