Qwen3.5-122B-A10B-DFlash长上下文性能揭秘:40k训练与滑动窗口注意力的设计逻辑
Qwen3.5-122B-A10B-DFlash长上下文性能揭秘:40k训练与滑动窗口注意力的设计逻辑
Qwen3.5-122B-A10B-DFlash 是由 Z-Lab 与 Modal 联合重训练的投机解码轻量草稿(draft)模型,专为 Qwen3.5-122B-A10B 大模型加速服务设计。它采用 40k 序列长度训练 + 滑动窗口注意力 的组合方案来优化长上下文表现,在标准基准上最高可实现 4.21x 解码加速,同时完整保留目标模型的输出分布。
🧩 它是什么:一个"草稿模型",而非独立语言模型
理解这个项目的关键:Qwen3.5-122B-A10B-DFlash 不是可以直接对话的语言模型,它必须与目标模型 Qwen/Qwen3.5-122B-A10B 配对,作为投机解码(Speculative Decoding)服务中的草稿模型使用。
其工作原理可以概括为一句话:草稿模型用块扩散(Block Diffusion)方式并行"猜"出多个 token,目标模型负责一次性校验,猜得越准,加速比越高。
仓库结构非常精简,核心文件只有两个(README.md 中还有完整的部署指南与基准数据):
| 文件 | 说明 |
|---|---|
| model.safetensors | 草稿模型权重文件 |
| config.json | 模型结构、注意力模式与 DFlash 配置 |
📏 40k 训练从哪来:为什么"长上下文"值得专门重训练
草稿模型有一个常见的隐性短板:很多方案在短序列上训练,一旦实际推理遇到长输入(长文档问答、代码库级上下文),草稿模型的预测质量会明显下滑,接受长度(accept length)变短,加速收益随之缩水。
Qwen3.5-122B-A10B-DFlash 正是为了解决这个问题而做的联合重训练(joint retrain):
- 训练序列长度拉到 40k,让草稿模型在长上下文的分布特征上得到充分学习;
- 配合下文提到的滑动窗口注意力,长序列下的计算与显存开销依然可控;
- 位置编码上限
max_position_embeddings达到 262144(见 config.json),为超长上下文留出空间。
对使用者的实际意义是:当你把大段文档、多轮对话或整个代码仓库喂给 Qwen3.5-122B-A10B 时,DFlash 的加速效果不会像"短文本训练的草稿模型"那样大打折扣。
🪟 滑动窗口注意力:省钱又省时的长上下文设计
打开 config.json,可以看到这套注意力设计的核心参数:
"layer_types": [
"sliding_attention",
"sliding_attention",
"sliding_attention",
"sliding_attention",
"sliding_attention",
"full_attention"
],
"sliding_window": 4096,
"max_position_embeddings": 262144
这组配置(config.json)体现了非常务实的设计逻辑:
- 5 层滑动窗口 + 1 层全局注意力:6 层隐藏层中,前 5 层只关注前后 4096 token 的局部窗口,最后 1 层做全局注意力"补位"。草稿模型的任务是快速给出候选 token,局部语义信息就足够准,无需每层都看完整上下文。
- KV Cache 开销大幅下降:滑动窗口层只需缓存窗口大小的 KV,在 40k 甚至更长的输入下,显存占用与计算量远低于全注意力方案——这对"草稿模型要跑得比目标模型还快"的定位至关重要。
- 复用目标模型的特征:
dflash_config中target_layer_ids选取了目标模型 48 层中的 8 层(第 1、7、14、20、26、32、39、45 层,见 config.json),用稀疏的特征复用换取更小的模型体积与更快的生成速度。 - 块大小可配:
block_size配置为 16,即草稿模型每轮并行提出 16 个 token 供目标模型校验。
一句话总结:40k 训练保证"看得懂长上下文",滑动窗口保证"看得起长上下文"——两者结合,才构成了完整的长上下文加速方案。
📊 实测表现:最高 4.21x 解码加速
官方在 4× NVIDIA B200(张量并行 4,bfloat16)上对 DFlash、自回归基线和 Qwen 内置 MTP 草稿路径做了系统对比,工作负载覆盖 GSM8K、MATH500、HumanEval、MBPP、MT-Bench(设置详见 README.md):
| 并发数 | DFlash 峰值加速比 | 说明 |
|---|---|---|
| 1 | 4.21x | HumanEval,block=16 |
| 32 | 3.07x | HumanEval,block=16 |
几个值得注意的点:
- 在每一个两者都完成的对比配置中,DFlash 吞吐都高于 MTP 草稿路径;
- 平均接受长度在 block=16 时普遍达到 7~8 个 token,说明草稿质量很高;
- 并发 32 的高负载下仍保持 3x 左右加速,意味着该方案在生产级多请求服务中同样有效。
🚀 快速上手:用 SGLang 启动 DFlash 投机解码服务
部署分两步,核心就是给 SGLang 指定草稿模型路径:
第一步,安装带 DFlash 支持的 SGLang:
uv pip install --upgrade "sglang[all]"
第二步,启动服务(完整参数列表见 README.md):
python -m sglang.launch_server \
--model-path Qwen/Qwen3.5-122B-A10B \
--speculative-algorithm DFLASH \
--speculative-draft-model-path z-lab/Qwen3.5-122B-A10B-DFlash \
--speculative-dflash-block-size 8 \
--tp-size 4
关于 --speculative-dflash-block-size 的取值,官方建议:
- block size = 8:高并发服务的推荐默认值;
- block size = 16:接受长度更长,单请求(concurrency 1)吞吐最强。
💡 提示:在 Blackwell 系 GPU 上,官方建议使用包含 DFlash、FA4/TRT-LLM 注意力与 FlashInfer 支持的较新 SGLang 构建以获得最佳性能。
📁 相关资料一览
- README.md:完整的部署命令、基准测试方法论与吞吐/接受长度数据表
- config.json:滑动窗口注意力、DFlash 块扩散等全部结构参数
- model.safetensors:草稿模型权重
写在最后
Qwen3.5-122B-A10B-DFlash 的价值在于:它把"长上下文"和"高并发加速"这两个通常相互冲突的目标统一了起来。40k 序列长度重训练让草稿模型真正具备长文本理解力,滑动窗口注意力则把这个能力压缩进一个轻量、低开销的结构中。如果你的场景是长文档问答、代码库级补全或多轮 Agent 服务,这套 DFlash 方案值得列入你的推理加速选型清单。
