DeepInfer投机解码深度揭秘:DSpark与置信度验证如何加速LLM推理
DeepInfer投机解码深度揭秘:DSpark与置信度验证如何加速LLM推理
DeepInfer 是 DeepSeek-AI 开源的高性能大规模推理框架,其内置的 DSpark 投机解码(Speculative Decoding) 与 置信度调度验证(Confidence-scheduled Verification) 机制,通过"先草拟、后批量验证"的方式显著加速 LLM 的解码阶段,且输出质量与原模型完全一致。本文用通俗语言拆解这套加速原理,并给出快速启用方法。
投机解码是什么:LLM 推理加速的基本原理 🤔
大模型生成文本是"自回归"的:每生成一个 token,都要把整段上下文完整过一遍模型。在解码(decode)阶段,GPU 大部分时间在等待权重搬运,算力严重闲置。
投机解码的思路很巧妙:
- 草稿(Draft):用一个轻量结构快速"猜"出接下来 k 个候选 token;
- 验证(Verify):让原始大模型一次性并行校验这 k+1 个 token;
- 接受:凡是与主模型分布一致的 token 直接收下,不一致处从分歧点重新采样。
验证由主模型亲自完成,因此输出分布与原模型严格等价——速度提升是"免费"的。DeepInfer 中的草稿引擎叫 DSpark,验证预算由 置信度调度器 动态分配,这正是本框架 README 中列出的核心特性之一。
DSpark 草稿机制:候选 token 从哪来?
DeepInfer 并不外挂一个独立草稿模型,而是直接使用模型权重里自带的 MTP(Multi-Token Prediction)层。加载时,dflash.py 中的 DFlash 模块会从主模型层数之后切出额外的 MTP 层,组建一个轻量的草稿网络:
- 每个解码步,以"上一轮的最后一个已确认 token(golden token)"为起点,一次推出最多
DEEPINFER_USE_NEXTN_DECODE个草稿 token(默认 5 个); - 草稿层与主模型共用相同的滑动窗口 KV cache 布局,因此几乎不占额外显存;
- 每轮推理只需一次主模型前向,即可完成"验证旧草稿 + 生产新草稿"。
草稿结果会被写入 GPU 上的固定缓冲池 MTPInfoPool:token id、logprobs 和置信度按调度槽位(slot)存放。这块"GPU 侧的快递柜"让 CPU 调度器与 GPU 草稿流水线可以完全异步,互不阻塞。
置信度头:提前算出"这个草稿能不能通过"
每个草稿 token 在被验证前,系统其实就能预估它被接受的可能性。DFlash 内置了一个 Confidence Head dflash.py:一个极小的线性层,输入草稿隐状态,输出每个草稿位置独立的接受概率(可配温度校准,对应 DEEPINFER_DFLASH_CONFIDENCE_HEAD_TEMPERATURE)。
这些置信度值随后累乘,得到"第 j 个草稿被接受的概率",并交给调度器——这正是"置信度调度验证"的信息来源。
MTPVarlen 置信度验证:验证预算如何花得最值 💡
固定长度验证有两个毛病:草稿容易全对的请求"验证少了",草稿大概率错的请求"白烧预算"。核心调度逻辑 MTPVarlen 分三步动态解决:
① 用"前两轮"的置信度做决策。 异步流水线下,验证结果永远慢半拍,所以调度器严格区分 N-2 轮与 N-1 轮数据:N-2 轮的接受率用于计算总批次规模,N-1 轮的用于逐请求分配 scheduler.hpp。这个错位设计避免了"决策依赖尚未到达的结果"的竞态。
② 选吞吐最大的批大小。 框架离线实测了一条 decode 性能曲线(batch_size → 前向耗时)。调度器枚举"再给哪些请求追加草稿 token"的方案,用 期望接受 token 数 / 预估总耗时 选出吞吐最高的总预算 total_q。
③ 预算按接受率贪心分配。 每个请求基础 1 个 token,多余预算逐个发给接受率最高的(请求, 位置)槽位,于是每个请求的验证长度 seqlens_q ∈ <a href="https://link.gitcode.com/i/354f24681d5be4752bb60e07fcdf011b" target="_blank">1, 1+nextn]。CPU 版逻辑见 [mtp_varlen.hpp,还有一枚同构的 TileLang GPU kernel schedule_mtp_varlen.py 供 ZOS 异步路径在卡上修正。
④ 耗时模型自我校准。 SamplerRuntimeEstimator 与 ForwardRuntimeEstimator 用滑动窗口中位数持续拟合 sampler 耗时与前向耗时斜率 mtp_varlen.hpp,让吞吐决策随硬件状态自适应。
验证流水线:从草稿到最终输出的完整闭环
一轮解码的完整链路非常紧凑:
- CPU 调度器按置信度算出每个请求的
seqlens_q; - 验证批次按"1 个 golden token + N 个草稿 token"拼装,草稿通过读行指针从 MTPInfoPool 零拷贝读取,末位永远是新鲜采样点 prepare_sample.cpp;
- 主模型一次前向后,sampler 完成投机采样,产出
accept_tok(接受 token 数)与confidence_score等指标 outputs.hpp; - 每个请求的完整 MTP 状态机(草稿、接受率、槽位、计数)定义在 MtpState。
这套机制的效果直接体现在官方基准里——4/64 张 SM100 GPU 的 Prefill / Decode Pareto 曲线:
如何启用投机解码加速:一条命令搞定 🚀
export DEEPINFER_ENABLE_MTP_VARLEN=1 # 启用置信度调度的变长验证
export DEEPINFER_USE_NEXTN_DECODE=5 # 每请求最大草稿长度(默认 5)
python examples/offline_inference.py
其他相关参数:
| 参数 | 作用 |
|---|---|
DEEPINFER_USE_NEXTN_DECODE |
最大草稿/验证 token 数 |
DEEPINFER_DFLASH_CONFIDENCE_HEAD_TEMPERATURE |
置信度头温度,支持按位置分别设置 |
DEEPINFER_MAX_BACKTRACKING_TOKENS |
最大回溯长度,需 ≥ 草稿长度 + 1 |
跑 benchmark.py 时,输出 JSON 会带上 mtp_varlen 字段,方便对比开/关投机解码的性能差异。
小结
DeepInfer 的 DSpark 投机解码由三个环环相扣的设计构成:
- DSpark(DFlash)——用模型自带 MTP 层"免费"产出草稿;
- Confidence Head——提前预测每个草稿的接受概率;
- MTPVarlen——按置信度把有限的验证预算花在回报最高的请求上,并随运行时数据自校准。
三者结合,让解码阶段在不牺牲任何质量的前提下逼近硬件吞吐上限。想深入了解,可直接阅读 mtp_varlen.hpp 与 dflash.py 的源码,或在 README 中查看完整的特性配置说明。

