一图读懂块扩散:Qwen3.8-Flash-Next-DFlash2一次前向预测整块token的核心原理

原创2026-11-11 21:23:421,739 阅读
文章标签:人工智能大模型模型优化本地部署

一图读懂块扩散:Qwen3.8-Flash-Next-DFlash2一次前向预测整块token的核心原理

Qwen3.8-Flash-Next-DFlash2 是一个块扩散(Block Diffusion)草稿模型,专为 Qwen3.8-Flash-Next 大模型做投机解码加速:它不逐字逐句地生成,而是一次前向推理预测整块 token,再交由目标模型并行验证,在不损失任何输出质量的前提下,把生成吞吐量提升约 1.6~1.8 倍。

📌 先说定位:它不是一个可独立对话的语言模型,而是运行在推理服务(SGLang)内部的"草稿小模型",负责替目标模型快速打草稿。

关键属性 说明
模型类型 DFlash2DraftModel(草稿模型,5 层 Qwen3 结构)
加速方式 块扩散起草 + 候选路径选择 + 目标模型验证
目标模型 Qwen/Qwen3.8-Flash-Next(48 层,官方 FP8 检查点)
输出保证 无损:贪心结果与目标模型逐 token 一致,采样保持原分布
推理后端 SGLang,--speculative-algorithm DFLASH

块扩散 vs 自回归:为什么"一次预测整块"更快

传统自回归解码像用尺子一笔一划写字:每个新 token 都依赖前一个,生成 N 个 token 就要做 N 次前向推理,GPU 大量时间在等待。

投机解码的思路是:先让一个又快又小的草稿模型一口气写出几个 token 的草稿,再让大模型一次性并行验证这些草稿——验证通过就整块收下,不通过就丢弃重来。

DFlash 2 的创新在于"块扩散":草稿阶段不再是小模型按顺序一个个写,而是像扩散模型去噪整张图一样,把一整块位置同时填出来。它的关键配置 is_causal: false 正是含义所在——块内位置之间不做因果掩码,所有位置并行预测。

核心原理:起草 → 筛选 → 防衰减三步走

第一步:块扩散起草,一次前向填满整块

  • 整块位置初始填充 mask token,模型一次前向就给出全部位置的预测
  • 草稿模型极小:仅 5 层(全部为 sliding_attention,滑窗 2048),hidden_size 2560,参数量相比目标模型可以忽略不计
  • 它并非凭空猜词:训练时学习的是目标模型中间层的表征,即 48 层目标模型中第 5、15、25、35、45 层(target_layer_ids)的输出,再对 4 条 hyper-connection 流取平均——这就是 patches/qwen38-dflash2-capture.patch 在目标模型中"截获"特征的原因
  • 配置文件 config.json 中 block_size 为 8;当前受目标模型稀疏注意力(QSA)实现限制,线上部署块大小取 4,即每个验证步骤起草 3 个新 token

第二步:轻量选择器,从候选中挑出最连贯的一条

整块并行预测的难点是:每个位置各自最优,拼起来未必连贯。DFlash 2 的做法是——

  • 每个位置保留 top-16 候选(selector_top_k: 16)
  • 一个低秩选择器(selector_rank: 256)在这些候选中"追溯出一条全局连贯的路径",就像在一堆选择题答案里挑出逻辑自洽的那一组

第三步:双抽头动态卷积,稳住块尾质量

块内越靠后的位置,草稿质量容易"衰减"。DFlash 2 在骨干中引入双抽头动态卷积(conv_kernel_size: 2,conv_group_size: 16),显著缓解块尾衰减,保证整块草稿的接受率均衡。

无损验证:为什么敢说"输出完全一致"

目标模型对草稿做验证时,贪心解码的输出与单独运行目标模型逐字完全一致;采样解码则严格保持目标模型的输出分布。加速只是加速,质量零损失。

实测效果:接受长度与吞吐量双双领先

接受长度(每个验证步骤平均接受的 token 数,越高越好;DFlash 2 对比 Flash-Next 内置的 MTP):

任务 MTP DFlash 2
GSM8K 3.08 3.26
MATH-500 2.93 3.17
HumanEval 2.52 2.94
MBPP 2.65 3.06
MT-Bench 2.50 2.83

吞吐量(输出 tok/s,括号内为相对自回归的加速比,单卡 GB300 / TP1):

任务 自回归 MTP DFlash 2
MATH-500(并发 1) 210.5 325.9 (1.55×) 383.6 (1.82×)
MT-Bench(并发 1) 211.2 285.1 (1.35×) 343.8 (1.63×)
GSM8K(并发 32) 1,680.9 2,027.5 (1.21×) 2,907.3 (1.73×)
MBPP(并发 32) 2,044.0 2,390.8 (1.17×) 3,131.0 (1.53×)

可以看到:并发 1 时 DFlash 2 最高拿到 1.82× 加速;并发 32 时 MTP 优势收窄到 1.1~1.2×,而 DFlash 2 仍保持 1.4~1.7×——高并发场景正是块扩散"整块并行"优势最明显的地方。

如何快速部署 DFlash 2:SGLang 一步配置

部署流程共三步,完整步骤见 README.md:

  1. 获取特性捕获补丁:Flash-Next 需要一个小补丁(patches/qwen38-dflash2-capture.patch)来向草稿模型提供中间层特征,目前仅在 TP1 下验证,等上游 SGLang 合入相应支持后即可移除
  2. 安装 SGLang 后,用如下核心参数启动服务:
python -m sglang.launch_server \
  --model-path Qwen/Qwen3.8-Flash-Next-FP8 \
  --linear-attn-verify-backend triton \
  --mamba-ssm-dtype bfloat16 \
  --speculative-algorithm DFLASH \
  --speculative-draft-model-path incoai/Qwen3.8-Flash-Next-DFlash2 \
  --speculative-num-draft-tokens 4
  1. 验证生效:服务日志出现 Q38_DFLASH_CAPTURE completed_layers=[5,15,25,35,45] 即表示草稿特征捕获已正确挂载

💡 小提醒:草稿模型建议使用 --speculative-draft-model-quantization unquant(不量化),小模型量化收益有限反而可能拉低接受率。

仓库文件导航 📂

文件 作用
config.json 草稿模型结构配置:5 层 Qwen3、block_size=8、选择器 rank/top_k、目标层 ids 等
model.safetensors DFlash 2 草稿模型权重(bfloat16)
patches/qwen38-dflash2-capture.patch 目标模型特征捕获补丁,指定捕获第 5/15/25/35/45 层输出并对 4 条 hyper-connection 流取平均
README.md 完整部署命令、评测设置与引用信息

写在最后

一句话总结 DFlash 2 的价值:把"打草稿"这件事从串行改成并行——块扩散一次前向填满整块,选择器保证路径连贯,动态卷积稳住块尾,最终让目标模型"批发验证"而不是"逐个审批",且输出无损。这也是它相比内置 MTP 在高并发下依然保持 1.4× 以上加速的根本原因。

📚 延伸阅读:方法源自 Inco AI 的 DFlash 2 工作(博客:inco.ai/blog/dflash2),原始论文为 DFlash: Block Diffusion for Flash Speculative Decoding(ICML 2026),引用格式见 README.md 中的 Citation 一节。

登录后查看全文
Qwen3.8-Flash-Next-DFlash2