GLM-5.3-Flash-w8a8量化三段流水线:QuaRot→SmoothQuant→LinearQuant原理详解
GLM-5.3-Flash-w8a8量化三段流水线:QuaRot→SmoothQuant→LinearQuant原理详解
GLM-5.3-Flash-w8a8 是量化工具 msModelSlim 将智谱 GLM-5.3-Flash(BF16)压缩为 W8A8 INT8 格式的量化模型,总容量约 308.98 GiB,面向 Atlas A3 系列 NPU 与 vLLM-Ascend 部署场景优化。本文面向新手,完整拆解该模型背后「QuaRot 正交旋转 → Flex SmoothQuant → Linear Quant」三段量化流水线的工作原理,帮助你在动手之前理解 W8A8 量化是如何做到体积减半、精度可控的。
一、为什么要做 W8A8 量化?🎯
GLM-5.3-Flash 是一个 45 层、288 个 MoE 专家、支持百万级上下文的多模态模型(详见 config.json)。BF16 原版权重动辄数百 GiB,显存压力大、推理成本高。
W8A8 的含义很直白:
| 对象 | 精度 | 作用 |
|---|---|---|
| Weight(权重) | INT8(8 位) | 权重体积约为 BF16 的一半 |
| Activation(激活值) | INT8(8 位,动态逐 token) | 推理时计算走 INT8 矩阵乘,NPU 加速 |
一句话:权重省一半空间,计算走 INT8 硬件通路——这正是 Ascend NPU 上的高效推理方案。
二、三段流水线总览:一段配置看懂全流程 🧭
整个量化方案由一份 YAML 配置驱动,核心定义在 GLM-5.3-Flash_best_practice.yaml 的 process 字段中,依次执行三个处理器:
quarot → flex_smooth_quant(norm-linear) → linear_quant
| 阶段 | 处理器 | 职责 |
|---|---|---|
| 第 1 段 | quarot |
正交旋转,打散激活离群值 |
| 第 2 段 | flex_smooth_quant |
互逆缩放,压平激活峰值 |
| 第 3 段 | linear_quant |
minmax 线性量化,落盘 INT8 |
三者是递进关系:前两段都在为第三段的"线性量化"扫清障碍。下面逐一拆解。
三、第一段:QuaRot 正交旋转——把离群值"搅匀" 🔄
问题背景:大模型的激活值分布常不均匀——少数几个通道的数值特别大(称为"离群值")。INT8 动态范围只有 -127~127,一旦个别通道数值巨大,量化比例(scale)就被撑大,其余通道的精度被整体拉低。
QuaRot 的解法是引入一个正交旋转矩阵 Q(满足 QᵀQ = I):
- 权重左旋:
W′ = Qᵀ·W - 激活右旋:
X′ = X·Q
由于 Q 是正交矩阵,Qᵀ·Q = I,整体计算结果严格等价——数学上一步没变,但激活值被"打散"到多个通道上,离群值不再集中在少数通道。
这一步的代价是零:旋转不需要改变模型输出。旋转矩阵会随产物一起发布,供部署侧加载:
- rot.safetensors:最终使用的旋转矩阵
- optional/quarot.safetensors:可选的 QuaRot 附加信息
💡 配置中
quarot还指定了max_tp_size: 4,即旋转按张量并行切分后的分块方式导出,export_extra_info: true保证部署侧拿到完整的旋转描述。
四、第二段:Flex SmoothQuant——把激活峰值"搬"到权重侧 ⚖️
旋转之后分布更均匀了,但激活的整体动态范围仍偏大。第二段 Flex SmoothQuant(GLM-5.3-Flash_best_practice.yaml 中的 flex_smooth_quant)在 norm-linear 子图上引入一对互逆缩放:
- 激活除以缩放系数:
X′ = X / s - 权重乘以缩放系数:
W′ = W · s
两者相乘后计算结果不变,等价于把激活侧的"难量化的大数值"迁移到权重侧——权重是静态的,可以用 per_channel 独立比例去量化,代价小;而激活侧峰值被压平后,per_token 量化的精度大幅提升。
这里有两个细节:
enable_subgraph_type: [norm-linear]:只在 LayerNorm 与线性层之间的子图上施加缩放,这正是 SmoothQuant 方法的经典作用位置;alpha: null / beta: null:缩放参数不手工指定,而是由工具链在校准数据(mix_calib.jsonl)上自动搜索最优平滑强度——所以 README 特别提醒:如果自定义了量化层范围,建议重新执行参数搜索。
五、第三段:Linear Quant——minmax 线性量化落盘 📦
前两段铺好路后,linear_quant 用最经典的 minmax 线性量化完成 INT8 转换:
| 项 | 配置 | 说明 |
|---|---|---|
| 权重 | INT8,per_channel,对称 minmax |
每个输出通道一个独立 scale,静态固定 |
| 激活 | INT8,per_token,对称 minmax |
动态量化:逐 token 计算 scale,无需离线校准固定 |
| 量化类型 | W8A8_DYNAMIC |
部署侧按此标记加载 |
per_token 动态量化是 W8A8 的关键优势:每个 token 用自己的 scale,天然适配推理时逐 token 产生的激活,精度损失小,且推理侧无需维护复杂的查表逻辑。
六、量化范围与保护模块:谁被量化,谁被保留?🛡️
并非所有层都适合 INT8。量化范围由 include/exclude 规则精确划定(见 README.md):
✅ 被量化为 W8A8 的模块:
| 模块 | 匹配规则 |
|---|---|
| MLP(dense / 共享专家 / MoE 专家) | *mlp* |
| MLA 注意力压缩投影 | *self_attn.q_a_proj、*self_attn.q_b_proj、*self_attn.kv_a_proj_with_mqa |
| 注意力 O 投影(DSA 层 3,7,11…43 及 MTP 层 45) | `*layers.{3,7,…,45}.self_attn.o_proj`` |
🔒 保留 BF16 浮点的保护模块:
gate(MoE 路由):路由错误会直接选错专家,精度极敏感;- KDA 线性注意力层投影(34 层):如
q/k/v/f/b/g_proj、conv1d等; kv_b_proj(MLA 值投影)、indexer(稀疏注意力索引):避免长序列检索精度劣化;- embedding / lm_head / 各类 norm / vision tower。
实测产物验证:全模型 113,449 个 tensor 中,112,014 个为 W8A8_DYNAMIC、1,434 个为 FLOAT(即保护对象),另含 1 个 QuaRot 旋转矩阵——量化范围与设计完全吻合。
七、量化产物结构:308.98 GiB 如何组织 📦
产物以 ascendv1_saver 保存(GLM-5.3-Flash_best_practice.yaml 中 part_file_size: 4,单分片 4 GB),仓库中可见 84 个分片:
| 文件 | 作用 |
|---|---|
| quant_model_weights-00001-of-00084.safetensors 等 84 片 | INT8 权重 + 量化参数,单片约 4 GB |
| quant_model_weights.safetensors.index.json | tensor 到分片的索引映射 |
| quant_model_description.json | 逐 tensor 记录量化类型(W8A8_DYNAMIC / FLOAT),部署侧据此加载 |
| rot.safetensors / optional/quarot.safetensors | QuaRot 旋转矩阵 |
| tokenizer.json、processor_config.json 等 | 分词与多模态处理器配置 |
每个量化参数组都是 weight(INT8)+ weight_scale(F32)+ weight_offset(F32)的"三件套",全模型 37,338 组无缺失。发布前后还经过逐文件 SHA256 校验,完整性可信。
八、如何复现这次量化?🛠️
如果你有 8 卡 NPU 环境,用 msModelSlim 即可复现(详细步骤见 README.md):
- 安装 msModelSlim 并升级 transformers 至 5.16.1;
- 执行量化命令,关键参数:
msmodelslim quant \
--model_path ${MODEL_PATH} \
--save_path ${SAVE_PATH} \
--device npu --device_id 0 1 2 3 4 5 6 7 \
--model_type GLM-5.3-Flash \
--config ${CONFIG_PATH}/glm_5_next/glm_5_next_w8a8_v1.yaml \
--trust_remote_code true
注意显式指定 --config 指向 v1 配置(即本仓库 GLM-5.3-Flash_best_practice.yaml 所对应的方案),以区别于经典版 W8A8——经典版仅量化 MLP,v1 版本额外量化了 MLA 压缩投影与 DSA 层的 O 投影,压缩比更高。
九、部署注意事项 ⚠️
- 保护对象勿动:
gate、kv_b_proj、indexer切勿纳入自定义量化范围; - 改范围要重新搜索:平滑参数与量化器、位宽强耦合,调整 include/exclude 后建议重新执行参数搜索;
- W8A8C8(KV Cache INT8):由 vLLM-Ascend 部署侧自行使能,无需在量化配置中处理;
- 验证环境为 vLLM-Ascend + Atlas A3,已验证标签见 GLM-5.3-Flash_best_practice.yaml。
十、总结:三段流水线各自解决什么问题 ✅
| 阶段 | 核心公式 | 解决的问题 |
|---|---|---|
| QuaRot | W′=QᵀW,X′=XQ |
离群值集中在少数通道 |
| Flex SmoothQuant | X′=X/s,W′=W·s |
激活动态范围过大 |
| Linear Quant | minmax(per_channel / per_token) | 完成 INT8 转换与落盘 |
这套「旋转匀分布 → 缩放移峰值 → 线性量化」的组合拳,让 GLM-5.3-Flash-w8a8 在保住 MoE 路由与长序列检索等关键精度的同时,把权重压缩到 BF16 的一半左右,是 W8A8 大模型量化方案中兼顾工程落地与精度保障的完整范例。