一图读懂块扩散:Qwen3.8-Flash-Next-DFlash2一次前向预测整块token的核心原理
一图读懂块扩散:Qwen3.8-Flash-Next-DFlash2一次前向预测整块token的核心原理
Qwen3.8-Flash-Next-DFlash2 是一个块扩散(Block Diffusion)草稿模型,专为 Qwen3.8-Flash-Next 大模型做投机解码加速:它不逐字逐句地生成,而是一次前向推理预测整块 token,再交由目标模型并行验证,在不损失任何输出质量的前提下,把生成吞吐量提升约 1.6~1.8 倍。
📌 先说定位:它不是一个可独立对话的语言模型,而是运行在推理服务(SGLang)内部的"草稿小模型",负责替目标模型快速打草稿。
| 关键属性 | 说明 |
|---|---|
| 模型类型 | DFlash2DraftModel(草稿模型,5 层 Qwen3 结构) |
| 加速方式 | 块扩散起草 + 候选路径选择 + 目标模型验证 |
| 目标模型 | Qwen/Qwen3.8-Flash-Next(48 层,官方 FP8 检查点) |
| 输出保证 | 无损:贪心结果与目标模型逐 token 一致,采样保持原分布 |
| 推理后端 | SGLang,--speculative-algorithm DFLASH |
块扩散 vs 自回归:为什么"一次预测整块"更快
传统自回归解码像用尺子一笔一划写字:每个新 token 都依赖前一个,生成 N 个 token 就要做 N 次前向推理,GPU 大量时间在等待。
投机解码的思路是:先让一个又快又小的草稿模型一口气写出几个 token 的草稿,再让大模型一次性并行验证这些草稿——验证通过就整块收下,不通过就丢弃重来。
DFlash 2 的创新在于"块扩散":草稿阶段不再是小模型按顺序一个个写,而是像扩散模型去噪整张图一样,把一整块位置同时填出来。它的关键配置 is_causal: false 正是含义所在——块内位置之间不做因果掩码,所有位置并行预测。
核心原理:起草 → 筛选 → 防衰减三步走
第一步:块扩散起草,一次前向填满整块
- 整块位置初始填充 mask token,模型一次前向就给出全部位置的预测
- 草稿模型极小:仅 5 层(全部为
sliding_attention,滑窗 2048),hidden_size2560,参数量相比目标模型可以忽略不计 - 它并非凭空猜词:训练时学习的是目标模型中间层的表征,即 48 层目标模型中第 5、15、25、35、45 层(
target_layer_ids)的输出,再对 4 条 hyper-connection 流取平均——这就是 patches/qwen38-dflash2-capture.patch 在目标模型中"截获"特征的原因 - 配置文件 config.json 中
block_size为 8;当前受目标模型稀疏注意力(QSA)实现限制,线上部署块大小取 4,即每个验证步骤起草 3 个新 token
第二步:轻量选择器,从候选中挑出最连贯的一条
整块并行预测的难点是:每个位置各自最优,拼起来未必连贯。DFlash 2 的做法是——
- 每个位置保留 top-16 候选(
selector_top_k: 16) - 一个低秩选择器(
selector_rank: 256)在这些候选中"追溯出一条全局连贯的路径",就像在一堆选择题答案里挑出逻辑自洽的那一组
第三步:双抽头动态卷积,稳住块尾质量
块内越靠后的位置,草稿质量容易"衰减"。DFlash 2 在骨干中引入双抽头动态卷积(conv_kernel_size: 2,conv_group_size: 16),显著缓解块尾衰减,保证整块草稿的接受率均衡。
无损验证:为什么敢说"输出完全一致"
目标模型对草稿做验证时,贪心解码的输出与单独运行目标模型逐字完全一致;采样解码则严格保持目标模型的输出分布。加速只是加速,质量零损失。
实测效果:接受长度与吞吐量双双领先
接受长度(每个验证步骤平均接受的 token 数,越高越好;DFlash 2 对比 Flash-Next 内置的 MTP):
| 任务 | MTP | DFlash 2 |
|---|---|---|
| GSM8K | 3.08 | 3.26 |
| MATH-500 | 2.93 | 3.17 |
| HumanEval | 2.52 | 2.94 |
| MBPP | 2.65 | 3.06 |
| MT-Bench | 2.50 | 2.83 |
吞吐量(输出 tok/s,括号内为相对自回归的加速比,单卡 GB300 / TP1):
| 任务 | 自回归 | MTP | DFlash 2 |
|---|---|---|---|
| MATH-500(并发 1) | 210.5 | 325.9 (1.55×) | 383.6 (1.82×) |
| MT-Bench(并发 1) | 211.2 | 285.1 (1.35×) | 343.8 (1.63×) |
| GSM8K(并发 32) | 1,680.9 | 2,027.5 (1.21×) | 2,907.3 (1.73×) |
| MBPP(并发 32) | 2,044.0 | 2,390.8 (1.17×) | 3,131.0 (1.53×) |
可以看到:并发 1 时 DFlash 2 最高拿到 1.82× 加速;并发 32 时 MTP 优势收窄到 1.1~1.2×,而 DFlash 2 仍保持 1.4~1.7×——高并发场景正是块扩散"整块并行"优势最明显的地方。
如何快速部署 DFlash 2:SGLang 一步配置
部署流程共三步,完整步骤见 README.md:
- 获取特性捕获补丁:Flash-Next 需要一个小补丁(patches/qwen38-dflash2-capture.patch)来向草稿模型提供中间层特征,目前仅在 TP1 下验证,等上游 SGLang 合入相应支持后即可移除
- 安装 SGLang 后,用如下核心参数启动服务:
python -m sglang.launch_server \
--model-path Qwen/Qwen3.8-Flash-Next-FP8 \
--linear-attn-verify-backend triton \
--mamba-ssm-dtype bfloat16 \
--speculative-algorithm DFLASH \
--speculative-draft-model-path incoai/Qwen3.8-Flash-Next-DFlash2 \
--speculative-num-draft-tokens 4
- 验证生效:服务日志出现
Q38_DFLASH_CAPTURE completed_layers=[5,15,25,35,45]即表示草稿特征捕获已正确挂载
💡 小提醒:草稿模型建议使用 --speculative-draft-model-quantization unquant(不量化),小模型量化收益有限反而可能拉低接受率。
仓库文件导航 📂
| 文件 | 作用 |
|---|---|
| config.json | 草稿模型结构配置:5 层 Qwen3、block_size=8、选择器 rank/top_k、目标层 ids 等 |
| model.safetensors | DFlash 2 草稿模型权重(bfloat16) |
| patches/qwen38-dflash2-capture.patch | 目标模型特征捕获补丁,指定捕获第 5/15/25/35/45 层输出并对 4 条 hyper-connection 流取平均 |
| README.md | 完整部署命令、评测设置与引用信息 |
写在最后
一句话总结 DFlash 2 的价值:把"打草稿"这件事从串行改成并行——块扩散一次前向填满整块,选择器保证路径连贯,动态卷积稳住块尾,最终让目标模型"批发验证"而不是"逐个审批",且输出无损。这也是它相比内置 MTP 在高并发下依然保持 1.4× 以上加速的根本原因。
📚 延伸阅读:方法源自 Inco AI 的 DFlash 2 工作(博客:inco.ai/blog/dflash2),原始论文为 DFlash: Block Diffusion for Flash Speculative Decoding(ICML 2026),引用格式见 README.md 中的 Citation 一节。