DeepSeek-V4.1-Flash-w4a8 是什么?一文看懂昇腾NPU上的w4a8量化模型
DeepSeek-V4.1-Flash-w4a8 是什么?一文看懂昇腾NPU上的w4a8量化模型
DeepSeek-V4.1-Flash-w4a8 是 DeepSeek-V4.1-Flash 的 w4a8 量化版本,专为华为昇腾 NPU 打造:采用 INT4 权重 + INT8 激活的量化方案,在 Atlas 800T A2 等昇腾设备上即可运行支持 100 万 token 上下文的大模型推理,是低成本部署 DeepSeek 系列 MoE 大模型的重要选择(目前为实验性支持)。
📌 一分钟认识这个量化模型
| 项目 | 信息 |
|---|---|
| 原始模型 | DeepSeek-V4.1-Flash |
| 量化格式 | w4a8(权重 INT4 + 激活 INT8) |
| 量化方法 | quant_method: "ascend"(昇腾专属) |
| 模型架构 | DeepseekV41ForCausalLM,40 层 MoE(384 个路由专家 + 1 个共享专家,每 token 激活 6 个) |
| 最大上下文 | 1,048,576(1M token) |
| 任务类型 | image-text-to-text(文生文 + 图文理解) |
| 精度测试平台 | 1 台 Atlas 800T A2,docker vllm-ascend |
更多架构细节可查看 config.json,量化说明见 README.md。
🔍 w4a8 量化是什么?新手也能懂
"w4a8" 是量化领域的经典命名:W4 代表权重(Weight)压缩到 4 bit(INT4),A8 代表激活值(Activation)量化到 8 bit(INT8)。
简单理解:
- BF16(原始精度):每个参数用 16 bit 存储,精度最高但最"吃"显存;
- W8A8:权重压到 8 bit,体积减半;
- W4A8:权重进一步压到 4 bit,权重体积只有 BF16 的约 1/4,激活仍保持 INT8 以控制精度损失。
对于 MoE 这类参数规模巨大的模型,权重体积直接决定部署门槛——w4a8 正是"体积"与"精度"之间的高性价比折中。
| 量化格式 | 权重位宽 | 激活位宽 | 相对 BF16 权重体积 |
|---|---|---|---|
| BF16 | 16 bit | 16 bit | 100% |
| W8A8 | 8 bit | 8 bit | 约 50% |
| W4A8 | 4 bit | 8 bit | 约 25% |
🛠️ 量化是怎么做的?msmodelslim 两步流程
该模型通过 msmodelslim 工具链完成量化,流程分为两步:
第 1 步:yaml 量化。使用 w4a8 量化配置文件在 8 卡 NPU 上执行:
msmodelslim quant \
--model_path weights/DeepSeek-V4.1-Flash \
--save_path weights/DeepSeek-V4.1-Flash-w4a8 \
--device npu --device_id 0 1 2 3 4 5 6 7 \
--model_type DeepSeek-V4.1-Flash \
--config w4a8.yaml \
--log_level info
第 2 步:后处理。移除 ep8 导出中的两个冗余 MTP 张量(mtp.0.head.weight 与 mtp.1.embed.weight),并同步重写对应 safetensors 分片、更新索引与描述文件。
量化策略的细节可参考 DeepSeek-V4.1-Flash_best_practice.yaml,核心手法包括:
- QuaRot 旋转:
block_size: 32,旋转基矩阵存放于 optional/quarot.safetensors,用于缓解量化离群值问题; - SSZ 智能搜索量化:
flex_awq_ssz(step 10)为 FFN 权重搜索更优的 INT4 量化方案; - SmoothQuant:
flex_smooth_quant平衡激活与权重的量化难度; - 差异化精度:注意力层用 INT8/INT8,FFN 路由专家权重用 INT4/INT8,共享专家保持 INT8/INT8;
- 豁免模块:vision、engram、aligner、mtp 等敏感模块不参与低比特量化,保护关键精度。
📊 精度表现:GPQA 89.9% vs 官方 90.9%
在 1 台 Atlas 800T A2 上,使用 docker vllm-ascend v0.30.0rc1 及更高版本 测试,结果如下:
| 模型名 | 量化格式 | 数据集 | 测试精度 % | 官方浮点精度 % |
|---|---|---|---|---|
| DeepSeek-V4.1-Flash-w4a8 | w4a8 | GPQA | 89.9 | 90.9 |
💡 量化后仅约 1 个百分点的精度差距,考虑到权重体积大幅缩减,这一表现相当出色。
⚠️ 注意:设置
--max-model-len 131072时精度存在波动,建议多次测试取平均。
🚀 如何部署到昇腾 NPU?
- 准备环境:使用
quay.io/ascend/vllm-ascend:v0.30.0rc1(或更高版本)镜像,部署方式可参考 vllm-ascend 社区的 DeepSeek-V4.1-Flash(w8a8)教程; - 加载模型:将本目录的量化权重作为模型路径传入,并按需设置
--max-model-len(建议 131072); - 启动推理:验证 GPQA 等基准精度后,即可投入生产试用。
📝 由于 w4a8 权重目前为实验性支持,生产环境建议先做充分的精度与稳定性验证。
📦 模型文件结构一览
本仓库包含完整推理所需的全部文件:
| 文件 | 说明 |
|---|---|
quant_model_weights-00001-of-00081.safetensors ~ ...00081... |
81 个量化权重分片(主网络) |
| quant_model_weights-engram-1.safetensors 等 4 个 engram 分片 | engram 模块权重(第 1、14 层)及其扩展分片 |
quant_model_weights-shared.safetensors |
共享权重 |
| quant_model_weights.safetensors.index.json | 权重索引,记录每个张量所在分片 |
| config.json | 模型架构配置(含 quantization_config 昇腾量化标识) |
| tokenizer.json / tokenizer_config.json | 分词器(词表 129,280) |
| optional/quarot.safetensors | QuaRot 旋转基矩阵 |
❓ 常见问题 FAQ
Q:w4a8 和 w8a8 怎么选? A:显存/存储紧张、追求更低带宽开销选 w4a8;对精度最敏感、硬件余量充足选 w8a8。w4a8 的 GPQA 精度仅比浮点版低约 1 个百分点。
Q:是稳定版本吗? A:README 明确标注"实验性支持",生产使用前建议多轮基准测试。
Q:支持哪些硬件? A:面向昇腾 NPU,精度验证机型为 Atlas 800T A2;推理框架要求 vllm-ascend v0.30.0rc1 及以上。
Q:engram 分片是做什么的?
A:DeepSeek-V4.1-Flash 的 engram 模块(配置见 config.json 中 engram_layer_ids)将权重单独存放,加载时与普通分片配合使用。
✅ 总结
DeepSeek-V4.1-Flash-w4a8 是面向昇腾 NPU 的 w4a8 量化 MoE 大模型:权重体积约为 BF16 的 1/4,GPQA 精度 89.9%(官方浮点 90.9%),支持 1M 上下文,通过 msmodelslim 量化并已完成冗余张量后处理。如果你有 Atlas 800T A2 等昇腾设备并想低成本跑起 DeepSeek-V4.1-Flash,它就是当前值得关注的选择。
如需完整获取模型文件,可克隆仓库:
git clone https://gitcode.com/Eco-Tech/DeepSeek-V4.1-Flash-w4a8