DFlash论文精读:Qwen3.5-4B-DFlash块扩散推测解码的关键创新与40k长上下文重训
DFlash论文精读:Qwen3.5-4B-DFlash块扩散推测解码的关键创新与40k长上下文重训
Qwen3.5-4B-DFlash 是 Z-Lab 与 Modal 联合重训的 DFlash 块扩散推测解码(Block Diffusion Speculative Decoding)草稿模型,搭配目标模型 Qwen/Qwen3.5-4B 使用,在解码阶段实现最高 4.60 倍加速。本文精读 DFlash 论文(DFlash: Block Diffusion for Flash Speculative Decoding,arXiv 2602.06036,Chen, Liang, Liu 2026)的核心创新点,并拆解 40k 长上下文重训背后的关键配置,帮助新手快速理解这套加速方案。
推测解码是什么:DFlash 在解决什么问题
大模型推理的主要瓶颈在解码阶段:自回归(Autoregressive)模型每生成一个 token 都要完整跑一遍网络,GPU 大量时间花在等待与访存上。
**推测解码(Speculative Decoding)**的思路是"小模型先猜、大模型来验":
- 一个轻量的**草稿模型(Draft Model)**快速提出若干候选 token;
- 目标模型(Target Model)一次性并行验证这些候选;
- 验证通过即采纳,失败则回退——输出分布与目标模型完全一致,不损失质量。
DFlash 的创新在于把草稿模型从"逐 token 自回归"换成"块扩散":一个 6 层的小网络,一次前向就能并行地"画出"一整块 token(默认块大小 8 或 16),而不是一个接一个地生成。仓库中的模型即为此目的设计,详见 README.md,它是一个草稿模型而非独立语言模型,必须与 Qwen3.5-4B 配对使用。
块扩散草稿模型:DFlash 的三大关键创新
创新一:块扩散代替自回归草稿
传统 EAGLE 类草稿模型仍按序列顺序生成草稿,块扩散草稿模型则把"生成一个块"建模为去噪问题:整块 token 位置初始化为 mask 标记,模型通过少量迭代在块内并行地恢复所有 token。块内并行度越高,单次验证轮次能覆盖的 token 越多——这就是"Flash"的由来。
创新二:跨层复用目标模型的隐藏状态
草稿模型并不从零学习,而是直接"搭车"目标模型的中间层表示。打开 config.json 可以看到 dflash_config 字段:
target_layer_ids: [1, 5, 9, 13, 17, 21, 25, 29]—— 草稿模型从 32 层目标模型的 8 个等距分散层提取特征,覆盖浅层到深层的语义信息;block_size: 16—— 模型默认按 16 token 的块工作;mask_token_id: 248077—— 块扩散去噪过程使用的 mask 标记,对应词表(vocab_size: 248320)中预留的专用 token。
创新三:极致轻量的 6 层结构
草稿模型本身只有 6 层(num_hidden_layers: 6),hidden_size 2560,参数量远小于目标模型,权重文件即 model.safetensors(bfloat16)。它采用 Qwen3 架构(model_type: qwen3)并绑定词嵌入(tie_word_embeddings: true),推理开销极低,几乎不挤占目标模型的算力。
40k 长上下文重训与滑动窗口注意力
这个仓库版本与原始论文的差别在于一次联合重训(joint retrain):以 40k 序列长度为训练目标,并引入**滑动窗口注意力(Sliding-Window Attention)**来提升长上下文下的表现。
从 config.json 能直观看到这套设计的落地:
| 配置项 | 值 | 含义 |
|---|---|---|
layer_types |
5×sliding_attention + 1×full_attention |
仅最后一层做全局注意力,其余 5 层用滑窗 |
sliding_window |
4096 | 滑窗半径 4k token |
max_position_embeddings |
262144 | 位置编码支持最长 262k |
滑窗注意力让草稿模型只需关注局部窗口,既省显存又天然适配长文本场景——草稿块通常不依赖远距离上下文,这正是 40k 重训后长上下文吞吐更稳的关键。
config.json 关键参数速查表
| 参数 | 值 | 说明 |
|---|---|---|
architectures |
DFlashDraftModel |
专用草稿模型架构 |
hidden_size / intermediate_size |
2560 / 9216 | 隐藏层与 FFN 宽度 |
num_attention_heads / num_key_value_heads |
32 / 8 | GQA 注意力头配置 |
rope_theta |
10000000 | RoPE 频率基值 |
num_target_layers |
32 | 目标模型层数(Qwen3.5-4B) |
dtype |
bfloat16 | 精度 |
实测性能:并发 1 最高 4.60x 加速
官方在 1× NVIDIA B200、SGLang、bfloat16 下对比了自回归基线、Qwen 自带 MTP 草稿路径与 DFlash,覆盖 GSM8K、MATH500、HumanEval、MBPP、MT-Bench 五组任务(完整数据见 README.md 的 Benchmark Results 章节):
- 并发 1:block=16 时最高 4.60x(HumanEval,1634.9 tok/s),MATH500 达 4.54x;
- 并发 32:block=8 时最高 2.61x(MATH500,19759 tok/s),全程连续批处理下依然领先;
- 平均接受长度上,DFlash 在绝大多数任务对(MTP steps=15 vs DFlash block=16)中更高,如 HumanEval 7.719 vs 6.147,说明块扩散的"命中率"更优;
- 在所有双方都跑完的对比点上,DFlash 吞吐均高于 MTP。
下面的图表来自论文,展示 DFlash 相对自回归基线与 EAGLE-3 草稿模型的解码加速倍率(以 Qwen3-8B 为例,Math500 上达到 6.17x),直观呈现了块扩散推测解码的性能上限:
快速上手:SGLang 部署 DFlash
DFlash 需要搭配支持推测解码的推理服务,官方推荐 SGLang(vLLM 的支持 PR 推进中)。核心启动命令如下:
export SGLANG_ENABLE_OVERLAP_PLAN_STREAM=1
python -m sglang.launch_server \
--model-path Qwen/Qwen3.5-4B \
--trust-remote-code \
--speculative-algorithm DFLASH \
--speculative-draft-model-path z-lab/Qwen3.5-4B-DFlash \
--speculative-dflash-block-size 8 \
--attention-backend trtllm_mha \
--tp-size 1 \
--host 0.0.0.0 \
--port 30000
块大小怎么选? 这是最关键的调优参数:
block-size 8:高并发服务的推荐默认值,吞吐与延迟更均衡;block-size 16:接受长度更长,并发 1 场景吞吐最强(对应 config 中默认block_size: 16)。
总结
DFlash 的核心贡献可以浓缩为一句话:用块扩散代替自回归来"猜",用跨层特征复用让草稿又快又准,用滑动窗口重训吃透长上下文。 对使用者而言,只需记住三件事:
- 它是 Qwen3.5-4B 的配套草稿模型,不能单独对话;
- 高并发选 block=8,单路低延迟选 block=16;
- 40k 重训 + 滑窗注意力,让它在长上下文场景下依旧稳定加速。
如果本文对你理解 DFlash 论文与块扩散推测解码有帮助,欢迎在部署实践中验证不同 block size 的加速效果。
