Qwen3.5-4B-DFlash是什么:Z-Lab块扩散草稿模型,最高4.6倍加速的推测解码利器
Qwen3.5-4B-DFlash是什么:Z-Lab块扩散草稿模型,最高4.6倍加速的推测解码利器
🚀 Qwen3.5-4B-DFlash 是由 Z-Lab 与 Modal 联合训练的推测解码草稿模型(Draft Model),专为 Qwen/Qwen3.5-4B 大模型加速而生。它采用创新的**块扩散(Block Diffusion)**架构,一次并行"猜出"多个 token,让目标模型批量验证,实测最高可获得 4.6 倍推理加速,是提升大模型服务吞吐量的神器。
⚠️ 注意:它不是独立语言模型,无法单独对话,必须搭配目标模型
Qwen/Qwen3.5-4B在推测解码服务中使用。
为什么需要 Qwen3.5-4B-DFlash?
传统自回归大模型生成文本时,必须一个 token 一个 token 地顺序输出,就像"挤牙膏",GPU 大量时间都耗在等待上。
**推测解码(Speculative Decoding)**的思路很直观:
- 先用一个轻量级草稿模型快速"打草稿",一次性提出一批候选 token
- 再让目标模型并行验证这些草稿
- 草稿正确的部分直接接受,错误处纠正后继续
这样既保留了目标模型的输出质量(分布完全一致),又大幅提升了生成速度。而 DFlash 的特别之处在于:它用一个只有 6 层的块扩散小模型做草稿,每轮同时生成一整块(block)token,而不是逐个猜测。
DFlash 块扩散草稿模型:轻巧但高效
从模型配置 config.json 中可以看出它的设计精髓:
| 配置项 | 值 | 说明 |
|---|---|---|
| 层数 | 6 层 | 比目标模型的 32 层轻得多 |
| 注意力 | 5 层滑动窗口 + 1 层全局 | 兼顾速度与现代长文本 |
| 最大上下文 | 262144(约 25 万 token) | 支持超长输入 |
| 块大小(block_size) | 16 | 每轮最多并行猜测 16 个 token |
| 精度 | bfloat16 | 主流 GPU 友好 |
| 训练序列长度 | 40k | 专为长文本场景重训练 |
它还内置了滑动窗口注意力(sliding-window attention),对长上下文场景的草稿质量有额外优化。
实测性能:最高 4.6 倍加速
官方在 1 块 NVIDIA B200 上用 SGLang 做了完整基准测试(详见 README.md),覆盖 GSM8K、MATH500、HumanEval、MBPP、MT-Bench 五大任务:
- 并发为 1 时(单人对话场景):最高 4.60x 加速(HumanEval),数学任务 MATH500 也达到 4.54x
- 并发为 32 时(高负载服务场景):依然有 2.61x 加速,且在多数任务上超过 Qwen 自带的 MTP 草稿方案
📈 简单说:低并发时"飞",高并发时依然领先,非常适合生产级推理服务。
快速上手:SGLang 三步部署
第一步:安装支持 DFlash 的 SGLang
uv pip install --upgrade "sglang[all]"
第二步:启动推测解码服务
核心参数只有两行(完整参数见 README.md):
python -m sglang.launch_server \
--model-path Qwen/Qwen3.5-4B \
--speculative-algorithm DFLASH \
--speculative-draft-model-path z-lab/Qwen3.5-4B-DFlash \
--speculative-dflash-block-size 8
如果本地没有模型,可先克隆仓库到本地:
git clone https://gitcode.com/hf_mirrors/z-lab/Qwen3.5-4B-DFlash
第三步:选择块大小(block size)
这是唯一需要权衡的参数:
- block-size 8:高并发服务场景的推荐默认值,吞吐稳定
- block-size 16:平均接受长度更长,单请求吞吐更强,适合并发较低的场景
仓库内容一览
| 文件 | 说明 |
|---|---|
| README.md | 部署指南、基准测试、引用信息 |
| config.json | DFlash 模型架构与超参数配置 |
model.safetensors |
模型权重文件(bfloat16) |
| assets/speedup.png | 官方加速效果对比图 |
常见问题
Q:能单独用来聊天吗?
不能。它是草稿模型,需要和 Qwen/Qwen3.5-4B 目标模型配合,通过推测解码服务(如 SGLang)一起部署。
Q:会改变模型回答内容吗? 不会。推测解码在数学上保证输出分布与目标模型完全一致,只是更快。
Q:vLLM 能用吗? vLLM 支持还在推进中,可关注官方进展;目前推荐直接用 SGLang。
🎯 总结:如果你在用 Qwen3.5-4B 搭建推理服务,Qwen3.5-4B-DFlash 是目前最值得尝试的推测解码草稿模型——配置简单、加速显著、质量无损,值得立刻上手试试!
