DeepSeek-V4.1-Flash-w4a8 是什么?一文看懂昇腾NPU上的w4a8量化模型

原创2026-10-30 18:36:581,825 阅读

DeepSeek-V4.1-Flash-w4a8 是什么?一文看懂昇腾NPU上的w4a8量化模型

DeepSeek-V4.1-Flash-w4a8 是 DeepSeek-V4.1-Flash 的 w4a8 量化版本,专为华为昇腾 NPU 打造:采用 INT4 权重 + INT8 激活的量化方案,在 Atlas 800T A2 等昇腾设备上即可运行支持 100 万 token 上下文的大模型推理,是低成本部署 DeepSeek 系列 MoE 大模型的重要选择(目前为实验性支持)。

📌 一分钟认识这个量化模型

项目 信息
原始模型 DeepSeek-V4.1-Flash
量化格式 w4a8(权重 INT4 + 激活 INT8)
量化方法 quant_method: "ascend"(昇腾专属)
模型架构 DeepseekV41ForCausalLM,40 层 MoE(384 个路由专家 + 1 个共享专家,每 token 激活 6 个)
最大上下文 1,048,576(1M token)
任务类型 image-text-to-text(文生文 + 图文理解)
精度测试平台 1 台 Atlas 800T A2,docker vllm-ascend

更多架构细节可查看 config.json,量化说明见 README.md。

🔍 w4a8 量化是什么?新手也能懂

"w4a8" 是量化领域的经典命名:W4 代表权重(Weight)压缩到 4 bit(INT4),A8 代表激活值(Activation)量化到 8 bit(INT8)。

简单理解:

  • BF16(原始精度):每个参数用 16 bit 存储,精度最高但最"吃"显存;
  • W8A8:权重压到 8 bit,体积减半;
  • W4A8:权重进一步压到 4 bit,权重体积只有 BF16 的约 1/4,激活仍保持 INT8 以控制精度损失。

对于 MoE 这类参数规模巨大的模型,权重体积直接决定部署门槛——w4a8 正是"体积"与"精度"之间的高性价比折中。

量化格式 权重位宽 激活位宽 相对 BF16 权重体积
BF16 16 bit 16 bit 100%
W8A8 8 bit 8 bit 约 50%
W4A8 4 bit 8 bit 约 25%

🛠️ 量化是怎么做的?msmodelslim 两步流程

该模型通过 msmodelslim 工具链完成量化,流程分为两步:

第 1 步:yaml 量化。使用 w4a8 量化配置文件在 8 卡 NPU 上执行:

msmodelslim quant \
    --model_path weights/DeepSeek-V4.1-Flash \
    --save_path  weights/DeepSeek-V4.1-Flash-w4a8 \
    --device npu --device_id 0 1 2 3 4 5 6 7 \
    --model_type DeepSeek-V4.1-Flash \
    --config w4a8.yaml \
    --log_level info

第 2 步:后处理。移除 ep8 导出中的两个冗余 MTP 张量(mtp.0.head.weight 与 mtp.1.embed.weight),并同步重写对应 safetensors 分片、更新索引与描述文件。

量化策略的细节可参考 DeepSeek-V4.1-Flash_best_practice.yaml,核心手法包括:

  • QuaRot 旋转:block_size: 32,旋转基矩阵存放于 optional/quarot.safetensors,用于缓解量化离群值问题;
  • SSZ 智能搜索量化:flex_awq_ssz(step 10)为 FFN 权重搜索更优的 INT4 量化方案;
  • SmoothQuant:flex_smooth_quant 平衡激活与权重的量化难度;
  • 差异化精度:注意力层用 INT8/INT8,FFN 路由专家权重用 INT4/INT8,共享专家保持 INT8/INT8;
  • 豁免模块:vision、engram、aligner、mtp 等敏感模块不参与低比特量化,保护关键精度。

📊 精度表现:GPQA 89.9% vs 官方 90.9%

在 1 台 Atlas 800T A2 上,使用 docker vllm-ascend v0.30.0rc1 及更高版本 测试,结果如下:

模型名 量化格式 数据集 测试精度 % 官方浮点精度 %
DeepSeek-V4.1-Flash-w4a8 w4a8 GPQA 89.9 90.9

💡 量化后仅约 1 个百分点的精度差距,考虑到权重体积大幅缩减,这一表现相当出色。

⚠️ 注意:设置 --max-model-len 131072 时精度存在波动,建议多次测试取平均。

🚀 如何部署到昇腾 NPU?

  1. 准备环境:使用 quay.io/ascend/vllm-ascend:v0.30.0rc1(或更高版本)镜像,部署方式可参考 vllm-ascend 社区的 DeepSeek-V4.1-Flash(w8a8)教程;
  2. 加载模型:将本目录的量化权重作为模型路径传入,并按需设置 --max-model-len(建议 131072);
  3. 启动推理:验证 GPQA 等基准精度后,即可投入生产试用。

📝 由于 w4a8 权重目前为实验性支持,生产环境建议先做充分的精度与稳定性验证。

📦 模型文件结构一览

本仓库包含完整推理所需的全部文件:

文件 说明
quant_model_weights-00001-of-00081.safetensors ~ ...00081... 81 个量化权重分片(主网络)
quant_model_weights-engram-1.safetensors 等 4 个 engram 分片 engram 模块权重(第 1、14 层)及其扩展分片
quant_model_weights-shared.safetensors 共享权重
quant_model_weights.safetensors.index.json 权重索引,记录每个张量所在分片
config.json 模型架构配置(含 quantization_config 昇腾量化标识)
tokenizer.json / tokenizer_config.json 分词器(词表 129,280)
optional/quarot.safetensors QuaRot 旋转基矩阵

❓ 常见问题 FAQ

Q:w4a8 和 w8a8 怎么选? A:显存/存储紧张、追求更低带宽开销选 w4a8;对精度最敏感、硬件余量充足选 w8a8。w4a8 的 GPQA 精度仅比浮点版低约 1 个百分点。

Q:是稳定版本吗? A:README 明确标注"实验性支持",生产使用前建议多轮基准测试。

Q:支持哪些硬件? A:面向昇腾 NPU,精度验证机型为 Atlas 800T A2;推理框架要求 vllm-ascend v0.30.0rc1 及以上。

Q:engram 分片是做什么的? A:DeepSeek-V4.1-Flash 的 engram 模块(配置见 config.json 中 engram_layer_ids)将权重单独存放,加载时与普通分片配合使用。

✅ 总结

DeepSeek-V4.1-Flash-w4a8 是面向昇腾 NPU 的 w4a8 量化 MoE 大模型:权重体积约为 BF16 的 1/4,GPQA 精度 89.9%(官方浮点 90.9%),支持 1M 上下文,通过 msmodelslim 量化并已完成冗余张量后处理。如果你有 Atlas 800T A2 等昇腾设备并想低成本跑起 DeepSeek-V4.1-Flash,它就是当前值得关注的选择。

如需完整获取模型文件,可克隆仓库:

git clone https://gitcode.com/Eco-Tech/DeepSeek-V4.1-Flash-w4a8
登录后查看全文
DeepSeek-V4.1-Flash-w4a8