5分钟搞懂W8A8量化原理:Qwen3.6-35B-A3B-w8a8如何零损失压缩35B参数

原创2026-10-18 22:29:361,378 阅读

5分钟搞懂W8A8量化原理:Qwen3.6-35B-A3B-w8a8如何零损失压缩35B参数

35B大模型,为什么需要 W8A8 量化?

Qwen3.6-35B-A3B-w8a8 是 Qwen3.6-35B-A3B 多模态大模型的 W8A8 量化版本:权重和激活值都用 8 位整数(Int8)表示。它由华为 msmodelslim 工具一键量化生成,在 Atlas 800T A3 上经 vllm-ascend 部署验证,精度与原始模型几乎无损。

如果你不想跑一个动辄几十 GB 的 bf16 大模型,或者想把它部署到昇腾推理卡上,这个仓库就是可以直接拉取、开箱即用的量化权重。

一句话理解量化:

对比项 原始模型(bf16) W8A8 量化模型
数值表示 16 位浮点数 8 位整数
单参数占用 2 字节 1 字节
35B 参数体积 约 70 GB 约 35 GB
计算单元 浮点运算 整数点积(AI 芯片加速)

量化后,模型"瘦身"一半,而且因为现代推理芯片对 Int8 矩阵乘法有专门的硬件加速(NPU 上的立方体单元等),推理速度还能再快一截。

W8A8 到底"8"在哪里?

"W8A8"这个名字拆开看就是两个 8:

  • W8(Weight 8-bit):把模型权重从 bf16 压缩成 Int8 对称量化,粒度为 per-channel(按输出通道),即每一列权重共用一个缩放因子,误差控制更精细;
  • A8(Activation 8-bit):推理时的激活值也动态量化成 Int8,粒度为 per-token(按单个 token),即每个 token 的激活向量各用一个缩放因子。

两者都是对称量化(symmetric)、用 minmax 方法确定量化范围,并配合校准数据集(calib)来兜住数值分布。这套配置的完整定义就写在仓库的 Qwen3.5-35B-A3B_best_practice.yaml 里:

act:
  scope: per_token     # 激活值:按 token 动态量化
  dtype: int8
weight:
  scope: per_channel  # 权重:按通道静态量化
  dtype: int8

📌 为什么 A8 是"动态"的?因为激活值的范围会随输入内容变化,无法像权重那样离线算好缩放因子。按 token 即时计算范围(minmax),既能保持精度,又几乎不增加额外开销——这正是"零损失"的关键之一。

另外注意 yaml 中的 exclude 规则:*self_attn.o_proj* 和 MoE 的 mtp* 层被排除在量化之外,这些对精度敏感的层保持高精度,属于典型的"混合精度量化"策略。

量化后精度真的不掉吗?看数据

仓库 README.md 给出了官方精度测试结果(测试平台:Atlas 800T A3 + vllm-ascend v0.18.0rc1):

模型名 量化格式 数据集 测试精度 % 本地浮点精度 %
Qwen3.6-35B-A3B-w8a8 w8a8 GPQA 83.232 82.997

有意思的是,量化版在 GPQA 上的分数(83.232%)略高于本地浮点基线(82.997%)。当然官方也注明:--max-model-len 256000 下精度存在波动,建议多次测试。但对新手来说,结论很清晰:W8A8 量化在这个模型上没有带来可感知的精度损失。

"零损失"的底气来自两点:

  1. 模型本身是 MoE 结构:config.json 显示该模型有 256 个专家(num_experts: 256),每个 token 只激活 8 个(num_experts_per_tok: 8)——这就是名字里"A3B"的由来(约 3B 活跃参数)。稀疏激活让单次推理的计算量远小于稠密 35B 模型,量化带来的误差也更难在输出端累积放大。
  2. 量化策略保守而精细:per-channel 权重量化 + per-token 激活量化 + 敏感层豁免,是目前工程上公认"精度最稳"的 W8A8 组合。

一键复现:如何量化你自己的 Qwen3.6-35B-A3B

如果你有原始模型权重,用 msmodelslim 一条命令即可产出同款 w8a8 模型(摘自 README.md):

msmodelslim quant \
  --model_path weights/Qwen3.6-35B-A3B \
  --save_path weights/Qwen3.6-35B-A3B-w8a8 \
  --model_type Qwen3.5-35B-A3B \
  --quant_type w8a8 \
  --trust_remote_code True

💡 小贴士:--quant_type w8a8 指定量化格式,--model_type 复用 Qwen3.5-35B-A3B 的量化模板(两者结构一致),全程无需手改任何配置。

仓库里有什么?如何部署使用

部署到昇腾环境时,直接使用 quay.io/ascend/vllm-ascend:v0.18.0rc1-a3-openeuler 镜像加载本仓库权重即可(推荐参数 --max-model-len 256000,见 README.md)。

总结:W8A8 量化的"零损失"是怎么做到的

  • W8:权重 Int8、per-channel、对称量化 → 模型体积直接减半
  • A8:激活值 Int8、per-token 动态量化 → 适配昇腾 NPU 的整数加速,推理更快
  • 混合精度兜底:o_proj 等敏感层免量化 + 校准数据集,把精度损失压到测量噪声以下
  • MoE 稀疏架构:256 专家仅激活 8 个,天然抗误差累积

对于想把 35B 级别大模型落到生产环境的工程师,Qwen3.6-35B-A3B-w8a8 提供了一个"拉下来就能跑"的参考答案:体积减半、速度提升、精度无损——这就是 W8A8 量化在 MoE 大模型上的完整故事。

登录后查看全文
Qwen3.6-35B-A3B-w8a8