GLM-5.3-W8A8C8-mxfp8量化流水线深度拆解:从QuaRot到Linear Quant的六大阶段
GLM-5.3-W8A8C8-mxfp8量化流水线深度拆解:从QuaRot到Linear Quant的六大阶段
GLM-5.3-W8A8C8-mxfp8 是由 msModelSlim 量化工具产出的 GLM-5.3 W8A8C8 MXFP8 量化模型(732.06 GiB,193 个分片)。它的完整量化流水线可概括为:QuaRot 正交旋转 → Flex SmoothQuant 平滑 → 两段 fa3_quant(Indexer / KV Cache)→ 两段 linear_quant(self_attn / mlp)。本文带你逐阶段看懂这份 GLM-5.3_best_practice.yaml 配置,并学会如何复现、校验产物。
一、先搞懂:这套量化产物到底是什么?
在拆流水线之前,先快速认识被量化的对象 GLM-5.3(config.json):
| 关键属性 | 数值 | 说明 |
|---|---|---|
| 架构 | GlmMoeDsaForCausalLM |
MoE + MLA + 稀疏索引(Indexer) |
| 层数 | 78 | 前 3 层 dense,其余为 MoE |
| 专家数 | 256 个路由专家 + 1 个共享专家 | 每 token 激活 8 个 |
| 隐藏维度 | 6144 | index_topk: 2048,支持 1M 上下文 |
量化格式记法 W8A8C8 MXFP8 的含义:
- W8:权重(Weight)8 bit,MXFP8 微缩放格式,
per_block(32)对称 minmax; - A8:激活(Activation)8 bit,MXFP8 动态量化,同样 per_block(32);
- C8:KV Cache 8 bit,MXFP8 per-tile(128),量化阶段登记、部署侧执行。
💡 与同目录方案
w8a8_mxfp8(无 C8、无 KV Cache 量化)的产物不通用,选型时务必区分。
二、六大阶段总览
整条流水线在 GLM-5.3_best_practice.yaml 的 process 段按顺序声明,执行流程如下:
quarot → flex_smooth_quant → fa3_quant(indexer) → fa3_quant(knope/KV Cache)
→ linear_quant(self_attn) → linear_quant(mlp)
配置元数据 score: 90.0、验证场景 vLLM_Ascend + Atlas_350,说明该方案已在 310P(Atlas 350)上完成端到端验证。
三、阶段拆解:每步在解决什么问题
阶段 1:QuaRot 正交旋转——先"抹平"离群值
配置段:GLM-5.3_best_practice.yaml
大模型激活中少数通道的离群值(outlier)是 8 bit 量化精度的最大杀手。QuaRot 通过学习的正交旋转矩阵,把集中在少数通道的能量分散到所有通道,让后续 MXFP8 的每块(block=32)动态范围变小、精度更高。
关键参数:
| 参数 | 值 | 作用 |
|---|---|---|
block_size: -1 |
全局旋转 | 不做分块旋转 |
max_tp_size: 4 |
4 | 保证最多 4 路张量并行下旋转矩阵可切分 |
export_extra_info: true |
开启 | 旋转矩阵随产物落盘 |
旋转矩阵产物有两份,部署时按需加载:
- rot.safetensors(主产物)
- optional/quarot.safetensors(备用副本)
阶段 2:Flex SmoothQuant 平滑——把激活难度"迁移"到权重
配置段:GLM-5.3_best_practice.yaml
SmoothQuant 的核心思想是:在 norm-linear / ov 子图上插入一对互逆缩放系数,把激活张量的量化难度等价迁移到权重侧——权重是一次性静态量化的,扛得住更大的缩放。
enable_subgraph_type: [norm-linear, ov]:只在这两类子图生效,覆盖全部 79 层(含 MTP 层);alpha/beta为null:由校准集mix_calib.jsonl自动搜索最优平滑强度,无需手动调参。
阶段 3:fa3_quant(Indexer)——稀疏索引的 FP8_E4M3 量化
配置段:GLM-5.3_best_practice.yaml
GLM-5.3 的稀疏注意力靠 Indexer 从长序列中检索 top-2048 个 token。其 q/k 投影采用 FP8_E4M3、per_token、对称 minmax(注意:不是 MXFP8,属预期设计):
- 命中
*indexer*,排除第 0/1/2/70/74/78 层; - 实际生效的是第 6/10/…/66 层共 16 个 full-indexer 层(对应 config.json 中
indexer_types为full的层)。
阶段 4:fa3_quant(knope 通路)——KV Cache 量化登记(C8 的来源)
配置段:GLM-5.3_best_practice.yaml
这是 W8A8C8 区别于 W8A8 的关键一步:对 MLA 的 knope 压缩通路逐 tile(128) 模拟 MXFP8 量化,并在描述文件中登记量化类型:
- 覆盖第 3~73 层共 71 个 knope 层(排除
*indexer*及首 3 层、末 5 层); - 量化阶段只做模拟登记,真正的按块 KV Cache 量化由 vLLM-Ascend 等推理框架在部署时执行,从而在长上下文下显著压缩显存占用。
阶段 5:linear_quant(self_attn)——注意力投影的 W8A8 MXFP8 静态量化
配置段:GLM-5.3_best_practice.yaml
对全部 79 层 *self_attn* 投影做 MXFP8 per_block(32) 对称 minmax 量化,显式保护以下对象:
kv_b_proj:MLA 值投影,量化易致长序列精度劣化;wk/weights_proj:Indexer 的键投影,保持检索精度;k_norm、o_proj保持浮点。
阶段 6:linear_quant(mlp)——MLP 与 MoE 专家的量化
配置段:GLM-5.3_best_practice.yaml
命中 *mlp*,覆盖 dense MLP 与 256 个 MoE 专家 + 共享专家,排除 *gate*(路由门控,含 e_score_correction_bias)——路由稳定性是 MoE 模型的生命线,必须保留高精度。
最终 embedding / lm_head / 各类 norm / MTP head 也全部保留浮点。
四、产物落盘:193 个分片如何组织
流水线末端由 ascendv1_saver 落盘(GLM-5.3_best_practice.yaml,part_file_size: 4,单分片 4 GB):
| 文件 | 作用 |
|---|---|
| quant_model_weights-00001-of-00193.safetensors 等 193 片 | MXFP8 权重 + scale(U8 + F8_E4M3 两件套) |
| quant_model_weights.safetensors.index.json | 张量 → 分片索引 |
| quant_model_description.json | 逐 tensor 量化类型登记(group_size: 32),部署侧据此加载 |
| chat_template.jinja / tokenizer.json / tokenizer_config.json | 对话模板与分词器 |
产物实测校验(详见 README.md):
- 量化参数组 58,943 组,均为 weight + weight_scale 两件套;
- 描述文件共 118,619 条目:
W8A8_MXFP8117,887、FLOAT644(保护对象)、KV Cache 动态标记 71、Indexer 动态标记 16; - 193/193 分片 safetensors header 全部解析通过。
五、一键复现:8 卡 NPU 量化命令
安装 msModelSlim 后(需 transformers==5.15.0),执行:
msmodelslim quant \
--model_path ${MODEL_PATH} \
--save_path ${SAVE_PATH} \
--device npu \
--device_id 0 1 2 3 4 5 6 7 \
--model_type GLM-5.3 \
--quant_type w8a8c8 \
--tags Atlas_350 \
--trust_remote_code true
要点提示:
- 原始权重 FP8 或 BF16 均可,工具链内部统一转 BF16 处理(FP8 → BF16 → MXFP8);
- 校准集
mix_calib.jsonl与配置同目录自动匹配,无需手动指定; --tags Atlas_350用于命中本方案配置;也可直接--config指向 GLM-5.3_best_practice.yaml。
六、常见踩坑清单
- ❌ 不要写
--quant_type mxfp8:不存在该枚举,MXFP8 由 tags 匹配的配置决定; - ❌ 不要把保护对象纳入量化:
gate、kv_b_proj、indexer.wk/weights_proj/k_norm、embedding / lm_head / norm 必须保留高精度; - ⚠️ 改过 include/exclude 范围后,平滑参数与位宽强耦合,建议重新执行参数搜索;
- ⚠️ 区分 W8A8 与 W8A8C8:无 C8 的版本缺少 KV Cache 量化登记,两者产物不可互换;
- ⚠️ 原始 GLM-5.3 权重受其发布仓库许可约束,商用请遵循对应 LICENSE 条款。
总结
🧊 QuaRot 抹平离群值 → SmoothQuant 迁移难度 → fa3_quant 拿下 Indexer 与 KV Cache → linear_quant 完成注意力与 MLP 的 MXFP8 静态量化——六大阶段环环相扣,最终把 GLM-5.3 压缩为可在 Atlas 350 + vLLM-Ascend 上高效推理的 W8A8C8 MXFP8 产物。读懂 GLM-5.3_best_practice.yaml 这份配置,你就掌握了整条流水线的全部信息。