一次预测5个token:DeepSeek-V4.1-Flash-1017-w4a8 的 DSpark 多 Token 预测与 QuaRot 旋转完整指南
一次预测5个token:DeepSeek-V4.1-Flash-1017-w4a8 的 DSpark 多 Token 预测与 QuaRot 旋转完整指南
想在大模型推理里一次吐出 5 个 token,还能把权重压到 4 bit 稳稳跑在国产算力上吗?本文带你读懂 DeepSeek-V4.1-Flash-1017-w4a8——它用 DSpark 多 token 预测把生成速度拉满,再用 QuaRot 旋转量化把精度损失压到最低,是一次"提速 + 瘦身"双管齐下的工程实践。 🚀
这个模型到底是什么
DeepSeek-V4.1-Flash-1017-w4a8 是基于 DeepSeek-V4.1-Flash-1017 量化而来的 w4a8 版本(权重 4 bit、激活 8 bit),面向 Ascend 昇腾 NPU(如 Atlas 800T A2),官方标注为实验性支持。
- 底层架构:
DeepseekV41ForCausalLM,40 层 Transformer,MoE 路由专家 384 个、每 token 激活 6 个。 - 量化方法:
quant_method: ascend,通过 msmodelslim 的w4a8流程导出。 - 精度实测:GPQA-D 数据集达 89.39%,接近原始精度。
完整参数见 config.json,量化与导出配置见 quant_model_description.json,部署与精度说明见 README.md。
DSpark:一次预测 5 个 Token 的关键
DSpark 是这个模型的"速度引擎"。传统解码每一步只产出一个 token,DSpark 让模型一步直接预测 5 个 token,再用校验机制过滤错误预测,从而大幅减少前向次数。
从 config.json 的 text_config 中可以看到 DSpark 的核心配置:
| 参数 | 取值 | 含义 |
|---|---|---|
dspark_block_size |
5 | 一次预测的 token 块大小 |
dspark_target_layer_ids |
[37, 38, 39] | 用最后 3 层作为预测草稿头 |
dspark_markov_rank |
256 | token 转移的马尔可夫秩 |
dspark_n_routed_experts |
128 | 预测专用 MoE 的专家数 |
dspark_num_experts_per_tok |
3 | 每个 token 激活 3 个专家 |
dspark_noise_token_id |
128799 | 预测时的噪声占位 token |
简单理解:DSpark 把第 37~39 层复用一个轻量 MoE(128 专家、每 token 选 3 个)当作"打草稿"的小模型,配合一个秩为 256 的马尔可夫转移模型,一次性给出 5 个候选 token,再让主模型校验接受其中正确的部分。这样在不改变最终分布的前提下,生成吞吐被成倍放大。
量化流程里也明确开启了它:best practice 中
dspark: true,见 DeepSeek-V4.1-Flash_best_practice.yaml。
QuaRot 旋转:为什么量化不掉精度
把权重压到 4 bit,最大的敌人是激活值里的离群点(outlier)——少数极大的数值会把量化尺度撑爆,导致整体精度崩塌。QuaRot 的思路是:先用一组随机正交旋转把激活"打散",让数值分布变平滑,再去做权重量化,从而显著降低量化误差。
在这个模型里,QuaRot 通过两处落地:
- 旋转基底:
engram_rotation_config指定value_basis: quarot_global,即对 value 投影统一套用一套全局 QuaRot 旋转基。 - 旋转矩阵文件:单独的 optional/quarot.safetensors(约 100MB)保存这套全局旋转矩阵,推理时加载即可。
量化流水线见 DeepSeek-V4.1-Flash_best_practice.yaml,QuaRot 是第一步处理:
- type: quarot
online: false
block_size: 32
max_tp_size: 4
export_extra_info: true
紧随其后的 flex_awq_ssz(对 up-down 子图做 4 bit 权重量化)、flex_smooth_quant(对 norm-linear 做平滑)配合 QuaRot,共同实现了"4 bit 权重 + 8 bit 激活"的低精度方案,同时把注意力、共享专家等敏感部分保留在 8 bit,兼顾速度与精度。
快速上手:如何在昇腾上跑起来
在 Ascend 环境(docker vllm-ascend v0.30.0rc1 及以上)中,该 w4a8 模型可直接被 vLLM-Ascend 加载。量化复现命令参考 README.md:
msmodelslim quant \
--model_type DeepSeek-V4.1-Flash \
--quant_type w4a8 \
--model_path weights/DeepSeek-V4.1-Flash-1017 \
--save_path weights/DeepSeek-V4.1-Flash-1017-w4a8 \
--trust_remote_code True \
--device npu:0,1,2,3,4,5,6,7
要点提示:
- 硬件:Atlas A2/A3 系列,多卡并行(示例 8 卡)。
- 框架:vLLM-Ascend,版本 ≥ v0.30.0rc1。
- 精度:存在波动,建议多次测试取均值。
为什么这套组合值得新手关注
- 更快:DSpark 一次预测 5 token,生成延迟直接下降。
- 更小:w4a8 让显存/带宽占用大幅降低,适配国产算力。
- 更稳:QuaRot 旋转量化保住精度,GPQA-D 达 89.39%。
- 可用:配套量化脚本、best practice 与权重文件齐全,开箱即用。
小结:DeepSeek-V4.1-Flash-1017-w4a8 把 DSpark 多 token 预测(提速)和 QuaRot 旋转量化(保精度)结合在 w4a8 低精度方案中,是昇腾平台上一次"又快又省"的落地尝试。想深入了解参数,重点看 config.json 与 DeepSeek-V4.1-Flash_best_practice.yaml。