5分钟搞懂W8A8量化原理:Qwen3.6-35B-A3B-w8a8如何零损失压缩35B参数
5分钟搞懂W8A8量化原理:Qwen3.6-35B-A3B-w8a8如何零损失压缩35B参数
35B大模型,为什么需要 W8A8 量化?
Qwen3.6-35B-A3B-w8a8 是 Qwen3.6-35B-A3B 多模态大模型的 W8A8 量化版本:权重和激活值都用 8 位整数(Int8)表示。它由华为 msmodelslim 工具一键量化生成,在 Atlas 800T A3 上经 vllm-ascend 部署验证,精度与原始模型几乎无损。
如果你不想跑一个动辄几十 GB 的 bf16 大模型,或者想把它部署到昇腾推理卡上,这个仓库就是可以直接拉取、开箱即用的量化权重。
一句话理解量化:
| 对比项 | 原始模型(bf16) | W8A8 量化模型 |
|---|---|---|
| 数值表示 | 16 位浮点数 | 8 位整数 |
| 单参数占用 | 2 字节 | 1 字节 |
| 35B 参数体积 | 约 70 GB | 约 35 GB |
| 计算单元 | 浮点运算 | 整数点积(AI 芯片加速) |
量化后,模型"瘦身"一半,而且因为现代推理芯片对 Int8 矩阵乘法有专门的硬件加速(NPU 上的立方体单元等),推理速度还能再快一截。
W8A8 到底"8"在哪里?
"W8A8"这个名字拆开看就是两个 8:
- W8(Weight 8-bit):把模型权重从 bf16 压缩成 Int8 对称量化,粒度为 per-channel(按输出通道),即每一列权重共用一个缩放因子,误差控制更精细;
- A8(Activation 8-bit):推理时的激活值也动态量化成 Int8,粒度为 per-token(按单个 token),即每个 token 的激活向量各用一个缩放因子。
两者都是对称量化(symmetric)、用 minmax 方法确定量化范围,并配合校准数据集(calib)来兜住数值分布。这套配置的完整定义就写在仓库的 Qwen3.5-35B-A3B_best_practice.yaml 里:
act:
scope: per_token # 激活值:按 token 动态量化
dtype: int8
weight:
scope: per_channel # 权重:按通道静态量化
dtype: int8
📌 为什么 A8 是"动态"的?因为激活值的范围会随输入内容变化,无法像权重那样离线算好缩放因子。按 token 即时计算范围(minmax),既能保持精度,又几乎不增加额外开销——这正是"零损失"的关键之一。
另外注意 yaml 中的 exclude 规则:*self_attn.o_proj* 和 MoE 的 mtp* 层被排除在量化之外,这些对精度敏感的层保持高精度,属于典型的"混合精度量化"策略。
量化后精度真的不掉吗?看数据
仓库 README.md 给出了官方精度测试结果(测试平台:Atlas 800T A3 + vllm-ascend v0.18.0rc1):
| 模型名 | 量化格式 | 数据集 | 测试精度 % | 本地浮点精度 % |
|---|---|---|---|---|
| Qwen3.6-35B-A3B-w8a8 | w8a8 | GPQA | 83.232 | 82.997 |
有意思的是,量化版在 GPQA 上的分数(83.232%)略高于本地浮点基线(82.997%)。当然官方也注明:
--max-model-len 256000下精度存在波动,建议多次测试。但对新手来说,结论很清晰:W8A8 量化在这个模型上没有带来可感知的精度损失。
"零损失"的底气来自两点:
- 模型本身是 MoE 结构:config.json 显示该模型有 256 个专家(
num_experts: 256),每个 token 只激活 8 个(num_experts_per_tok: 8)——这就是名字里"A3B"的由来(约 3B 活跃参数)。稀疏激活让单次推理的计算量远小于稠密 35B 模型,量化带来的误差也更难在输出端累积放大。 - 量化策略保守而精细:per-channel 权重量化 + per-token 激活量化 + 敏感层豁免,是目前工程上公认"精度最稳"的 W8A8 组合。
一键复现:如何量化你自己的 Qwen3.6-35B-A3B
如果你有原始模型权重,用 msmodelslim 一条命令即可产出同款 w8a8 模型(摘自 README.md):
msmodelslim quant \
--model_path weights/Qwen3.6-35B-A3B \
--save_path weights/Qwen3.6-35B-A3B-w8a8 \
--model_type Qwen3.5-35B-A3B \
--quant_type w8a8 \
--trust_remote_code True
💡 小贴士:--quant_type w8a8 指定量化格式,--model_type 复用 Qwen3.5-35B-A3B 的量化模板(两者结构一致),全程无需手改任何配置。
仓库里有什么?如何部署使用
- 量化权重:10 个分片文件
quant_model_weights-00001-of-00010.safetensors~quant_model_weights-00010-of-00010.safetensors,总大小约 41.4 GB(含少量未量化的 bf16 层,故略大于纯 35 GB);权重索引见 quant_model_weights.safetensors.index.json - 模型配置:config.json(40 层 Transformer、256 专家 MoE、256K 上下文)
- 推理参数:generation_config.json 给出官方推荐采样参数
temperature 0.6 / top_k 20 / top_p 0.95 - 多模态模板:chat_template.jinja 支持图片、视频混合输入;配套 preprocessor_config.json 与 video_preprocessor_config.json
部署到昇腾环境时,直接使用 quay.io/ascend/vllm-ascend:v0.18.0rc1-a3-openeuler 镜像加载本仓库权重即可(推荐参数 --max-model-len 256000,见 README.md)。
总结:W8A8 量化的"零损失"是怎么做到的
- W8:权重 Int8、per-channel、对称量化 → 模型体积直接减半
- A8:激活值 Int8、per-token 动态量化 → 适配昇腾 NPU 的整数加速,推理更快
- 混合精度兜底:o_proj 等敏感层免量化 + 校准数据集,把精度损失压到测量噪声以下
- MoE 稀疏架构:256 专家仅激活 8 个,天然抗误差累积
对于想把 35B 级别大模型落到生产环境的工程师,Qwen3.6-35B-A3B-w8a8 提供了一个"拉下来就能跑"的参考答案:体积减半、速度提升、精度无损——这就是 W8A8 量化在 MoE 大模型上的完整故事。