Qwen3.5-4B-DFlash是什么:Z-Lab块扩散草稿模型,最高4.6倍加速的推测解码利器

原创2026-11-09 16:43:581,614 阅读

Qwen3.5-4B-DFlash是什么:Z-Lab块扩散草稿模型,最高4.6倍加速的推测解码利器

🚀 Qwen3.5-4B-DFlash 是由 Z-Lab 与 Modal 联合训练的推测解码草稿模型(Draft Model),专为 Qwen/Qwen3.5-4B 大模型加速而生。它采用创新的**块扩散(Block Diffusion)**架构,一次并行"猜出"多个 token,让目标模型批量验证,实测最高可获得 4.6 倍推理加速,是提升大模型服务吞吐量的神器。

⚠️ 注意:它不是独立语言模型,无法单独对话,必须搭配目标模型 Qwen/Qwen3.5-4B 在推测解码服务中使用。

为什么需要 Qwen3.5-4B-DFlash?

传统自回归大模型生成文本时,必须一个 token 一个 token 地顺序输出,就像"挤牙膏",GPU 大量时间都耗在等待上。

**推测解码(Speculative Decoding)**的思路很直观:

  1. 先用一个轻量级草稿模型快速"打草稿",一次性提出一批候选 token
  2. 再让目标模型并行验证这些草稿
  3. 草稿正确的部分直接接受,错误处纠正后继续

这样既保留了目标模型的输出质量(分布完全一致),又大幅提升了生成速度。而 DFlash 的特别之处在于:它用一个只有 6 层的块扩散小模型做草稿,每轮同时生成一整块(block)token,而不是逐个猜测。

Qwen3.5-4B-DFlash推测解码加速效果对比图

DFlash 块扩散草稿模型:轻巧但高效

从模型配置 config.json 中可以看出它的设计精髓:

配置项 值 说明
层数 6 层 比目标模型的 32 层轻得多
注意力 5 层滑动窗口 + 1 层全局 兼顾速度与现代长文本
最大上下文 262144(约 25 万 token) 支持超长输入
块大小(block_size) 16 每轮最多并行猜测 16 个 token
精度 bfloat16 主流 GPU 友好
训练序列长度 40k 专为长文本场景重训练

它还内置了滑动窗口注意力(sliding-window attention),对长上下文场景的草稿质量有额外优化。

实测性能:最高 4.6 倍加速

官方在 1 块 NVIDIA B200 上用 SGLang 做了完整基准测试(详见 README.md),覆盖 GSM8K、MATH500、HumanEval、MBPP、MT-Bench 五大任务:

  • 并发为 1 时(单人对话场景):最高 4.60x 加速(HumanEval),数学任务 MATH500 也达到 4.54x
  • 并发为 32 时(高负载服务场景):依然有 2.61x 加速,且在多数任务上超过 Qwen 自带的 MTP 草稿方案

📈 简单说:低并发时"飞",高并发时依然领先,非常适合生产级推理服务。

快速上手:SGLang 三步部署

第一步:安装支持 DFlash 的 SGLang

uv pip install --upgrade "sglang[all]"

第二步:启动推测解码服务

核心参数只有两行(完整参数见 README.md):

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.5-4B \
  --speculative-algorithm DFLASH \
  --speculative-draft-model-path z-lab/Qwen3.5-4B-DFlash \
  --speculative-dflash-block-size 8

如果本地没有模型,可先克隆仓库到本地:

git clone https://gitcode.com/hf_mirrors/z-lab/Qwen3.5-4B-DFlash

第三步:选择块大小(block size)

这是唯一需要权衡的参数:

  • block-size 8:高并发服务场景的推荐默认值,吞吐稳定
  • block-size 16:平均接受长度更长,单请求吞吐更强,适合并发较低的场景

仓库内容一览

文件 说明
README.md 部署指南、基准测试、引用信息
config.json DFlash 模型架构与超参数配置
model.safetensors 模型权重文件(bfloat16)
assets/speedup.png 官方加速效果对比图

常见问题

Q:能单独用来聊天吗? 不能。它是草稿模型,需要和 Qwen/Qwen3.5-4B 目标模型配合,通过推测解码服务(如 SGLang)一起部署。

Q:会改变模型回答内容吗? 不会。推测解码在数学上保证输出分布与目标模型完全一致,只是更快。

Q:vLLM 能用吗? vLLM 支持还在推进中,可关注官方进展;目前推荐直接用 SGLang。


🎯 总结:如果你在用 Qwen3.5-4B 搭建推理服务,Qwen3.5-4B-DFlash 是目前最值得尝试的推测解码草稿模型——配置简单、加速显著、质量无损,值得立刻上手试试!

登录后查看全文
Qwen3.5-4B-DFlash