GLM-5.2-W8A8C8-mxfp8量化流水线深度剖析:QuaRot到Flex SmoothQuant的6步全流程
GLM-5.2-W8A8C8-mxfp8量化流水线深度剖析:QuaRot到Flex SmoothQuant的6步全流程
GLM-5.2-W8A8C8-mxfp8 是智谱 GLM-5.2 大模型经 msModelSlim 工具完成的 W8A8C8 MXFP8 量化模型。本文带你用 6 个步骤完整拆解这条量化流水线:QuaRot 正交旋转 → Flex SmoothQuant 平滑 → Indexer 量化 → KV Cache 量化 → 注意力投影量化 → MLP 量化,新手也能看懂大模型量化产物是如何一步步生成的。
一、W8A8C8 MXFP8 量化到底量化了什么?
先搞懂命名,后面 6 步流程才看得明白。W8A8C8 表示权重、激活、KV Cache 三者都是 8 位精度,底层格式为 MXFP8(微缩放浮点),这是面向昇腾 NPU 的新一代低比特方案:
| 维度 | 量化配置 | 通俗理解 |
|---|---|---|
| 权重(W8) | MXFP8,per_block(32),对称 minmax | 每 32 个数共享一个缩放因子,体积减半 |
| 激活(A8) | MXFP8,per_block(32),对称 minmax,动态 | 输入激活在推理时动态分块量化 |
| KV Cache(C8) | MXFP8,per-tile(128) | 长文本对话的缓存也压缩到 8 位 |
| 量化类型 | W8A8_MXFP8(58,943 组两件套) |
每个张量 = 8位权重 + FP8_E4M3 缩放因子 |
这个模型本身是大杀器:config.json 显示它采用 MoE + 稀疏注意力架构——78 层主干(另含 1 层 MTP 预测层),每层 256 个路由专家、激活 8 个,支持 1048576 token 上下文。量化后的仓库共 193 个分片、约 732.06 GiB,比 BF16 原版省下一大块显存和带宽。
二、6 步流水线总览
完整的处理顺序定义在 GLM-5.2_best_practice.yaml 的 process 字段中,README.md 也给出了等价摘要:
quarot → flex_smooth_quant(norm-linear + ov) → fa3_quant(indexer, FP8_E4M3)
→ fa3_quant(knope, MXFP8, KV Cache) → linear_quant(self_attn, MXFP8 per_block)
→ linear_quant(mlp, MXFP8 per_block)
| 步骤 | 处理器 | 作用对象 | 输出格式 |
|---|---|---|---|
| 1 | quarot | 全模型激活 | 正交旋转后的平滑分布 |
| 2 | flex_smooth_quant | norm-linear / ov 子图 | 激活幅度迁移到权重侧 |
| 3 | fa3_quant | 16 层 indexer 的 q/k | FP8_E4M3 per_token |
| 4 | fa3_quant | 71 层 knope KV Cache 通路 | MXFP8 per-tile(登记制) |
| 5 | linear_quant | 全 79 层 self_attn 投影 | MXFP8 per_block(32) |
| 6 | linear_quant | 全层 MLP(含 MoE 专家) | MXFP8 per_block(32) |
💡 设计思路一句话:先把激活"抚平"(步骤 1、2),再按模块特性分别量化(步骤 3~6),最后由 ascendv1_saver 按 4GB/片落盘。
三、逐步拆解:每一步在解决什么问题
步骤 1:QuaRot 正交旋转——给激活"打散重排"
大模型量化的头号敌人是激活离群值:极少数通道的数值特别大,会把 8 位量化的动态范围撑爆,导致其余数值精度崩塌。QuaRot 的做法是构造正交旋转矩阵,把集中在少数通道的大值均匀分散到多个通道,让分布变平滑,为后续 MXFP8 分块量化打好底子。
配置见 GLM-5.2_best_practice.yaml(online: false 表示离线一次性完成,max_tp_size: 4 保证旋转矩阵在 4 路张量并行下可切分)。旋转矩阵随产物一并发布:
- 旋转矩阵主文件:rot.safetensors
- 额外导出信息:optional/quarot.safetensors
步骤 2:Flex SmoothQuant——把激活幅度"搬家"到权重
旋转之后,平滑工作交给 Flex SmoothQuant。它在 norm-linear 与 ov 两类子图上引入一对互逆缩放系数(配置中的 alpha/beta 为 null,即由工具自动搜索):把激活侧的幅度等价地乘到权重侧。数学上等价,工程上收益显著——激活的数值范围变小了,量化误差自然下降。
范围定义在 GLM-5.2_best_practice.yaml:include: ['*'],即全模型生效。
步骤 3:fa3_quant 量化 Indexer q/k(FP8_E4M3 per_token)
GLM-5.2 使用 DSA(动态稀疏注意力):每 4 层部署一个 full-indexer,共 22 层。Indexer 的 q/k 投影承担长序列检索职责,对精度敏感,因此单独用 FP8_E4M3、per_token 对称量化(而非 MXFP8)。
范围见 GLM-5.2_best_practice.yaml:include: *indexer*,排除第 0/1/2/70/74/78 层,实际命中第 6/10/…/66 层共 16 层(与 config.json 中 indexer_types 的 full 层一一对应)。
步骤 4:fa3_quant 登记 KV Cache 量化(C8 的由来)
W8A8C8 里的 C8 就是 KV Cache 也走 8 位。这一步在量化阶段对 MLA 的 knope 压缩通路逐 tile(128 粒度)模拟量化,并把 MXFP8_DYNAMIC 类型登记进 quant_model_description.json,真正的按块量化由 vLLM-Ascend 等部署框架在推理时执行——离线登记、在线执行,两不耽误。
范围见 GLM-5.2_best_practice.yaml:include: *self_attn,排除 indexer 与首尾层,实际覆盖第 3~73 层共 71 层。
步骤 5:linear_quant 量化注意力投影
对全部 79 层(含 MTP 层 78)的 *self_attn* 执行 MXFP8 per_block(32) minmax 对称量化,涵盖 o_proj、q_a_proj、q_b_proj、kv_a_proj_with_mqa 以及 22 个 full-indexer 层的 indexer.wq_b。
排除项(GLM-5.2_best_practice.yaml):*kv_b_proj、*wk、*weights_proj——MLA 值投影与索引器 k 侧若被量化,长序列检索精度会明显劣化,故保留高精度。
步骤 6:linear_quant 量化 MLP 与 MoE 专家
最后对 *mlp*(dense 层、共享专家、256 个路由专家)执行同样的 MXFP8 per_block(32) 量化,仅排除 *gate*(GLM-5.2_best_practice.yaml)。
⚠️ 保护对象清单(README.md):gate(MoE 路由,含 e_score_correction_bias)、kv_b_proj、indexer.wk/weights_proj/k_norm、embedding / lm_head / 各类 norm / MTP head 全部保留浮点精度(BF16 或 F32),实测共 644 个 tensor 为 FLOAT。自定义配置时请勿把这些模块纳入量化范围。
四、产物校验:数字不会说谎
量化完成后,仓库内所有文件可通过交叉验证(数据来自 README.md):
| 校验项 | 结果 |
|---|---|
| 文件构成 | 204 个文件 / 732.06 GiB(193 分片 + index + description + 2 个旋转矩阵 + tokenizer/config 等) |
| 量化描述条目 | 118,619 条:W8A8_MXFP8 117,887 + FLOAT 644 + 71 个 MXFP8_DYNAMIC + 16 个 FP8_DYNAMIC + 1 个模型级 INT8_DYNAMIC |
| 量化参数组 | 58,943 组两件套(weight U8 + weight_scale F8_E4M3,per_block 32) |
| 分片 dtype 分布 | U8 58,943 / F8_E4M3 58,943 / F32 438 / BF16 206,193/193 分片 header 解析通过 |
- 逐 tensor 量化类型清单:quant_model_description.json(部署侧加载时读取,
group_size: 32) - 权重索引(分片 ↔ 张量映射):quant_model_weights.safetensors.index.json
- 权重分片:
quant_model_weights-00001-of-00193.safetensors~quant_model_weights-00193-of-00193.safetensors(单片 4GB)
五、8 卡 NPU 复现量化:命令与避坑
复现依赖 msModelSlim 工具,8 卡 NPU 环境下一键执行:
msmodelslim quant \
--model_path ${MODEL_PATH} \
--save_path ${SAVE_PATH} \
--device npu \
--device_id 0 1 2 3 4 5 6 7 \
--model_type GLM-5.2 \
--quant_type w8a8c8 \
--tags Atlas_350 \
--trust_remote_code true
来自 README.md 的复现要点与常见坑:
${MODEL_PATH}指向 GLM-5.2 BF16 权重,${SAVE_PATH}为产物目录;校准数据mix_calib.jsonl由配置自动匹配,无需手动指定;- 不要写成
--quant_type mxfp8(该枚举不存在)——MXFP8 由--tags Atlas_350命中的配置决定; - 注意
--model_type GLM-5.2要与配置归属一致,这正是本仓库专属配置修正的背景; - 推理侧建议配合 vLLM-Ascend 部署,测试机型为 Atlas 350;采样参数参考 generation_config.json,对话模板见 chat_template.jinja。
六、总结:一张表看懂全部核心文件
| 文件 | 作用 |
|---|---|
| GLM-5.2_best_practice.yaml | 6 步量化流水线定义(核心配置) |
| quant_model_description.json | 逐 tensor 量化类型清单,部署侧读取 |
| quant_model_weights.safetensors.index.json | 193 个分片的张量索引 |
| rot.safetensors / optional/quarot.safetensors | QuaRot 正交旋转矩阵 |
| config.json | 模型结构(MoE、DSA indexer、MLA 参数) |
| README.md | 量化方案、复现与校验全记录 |
✅ 回顾一下核心链路:QuaRot 旋转抚平离群值 → Flex SmoothQuant 迁移激活幅度 → Indexer 单独 FP8_E4M3 → KV Cache 登记式 MXFP8 → 注意力与 MLP 统一 per_block(32) 量化,再配合 gate 等模块的精度保护,最终得到 732 GiB、193 分片的 W8A8C8 MXFP8 产物。理解了这条流水线,你就能举一反三地看懂大多数面向 NPU 的大模型量化方案。