GLM-5.3-W8A8C8-mxfp8量化流水线深度拆解:从QuaRot到Linear Quant的六大阶段

原创2026-11-15 14:55:58326 阅读

GLM-5.3-W8A8C8-mxfp8量化流水线深度拆解:从QuaRot到Linear Quant的六大阶段

GLM-5.3-W8A8C8-mxfp8 是由 msModelSlim 量化工具产出的 GLM-5.3 W8A8C8 MXFP8 量化模型(732.06 GiB,193 个分片)。它的完整量化流水线可概括为:QuaRot 正交旋转 → Flex SmoothQuant 平滑 → 两段 fa3_quant(Indexer / KV Cache)→ 两段 linear_quant(self_attn / mlp)。本文带你逐阶段看懂这份 GLM-5.3_best_practice.yaml 配置,并学会如何复现、校验产物。

一、先搞懂:这套量化产物到底是什么?

在拆流水线之前,先快速认识被量化的对象 GLM-5.3(config.json):

关键属性 数值 说明
架构 GlmMoeDsaForCausalLM MoE + MLA + 稀疏索引(Indexer)
层数 78 前 3 层 dense,其余为 MoE
专家数 256 个路由专家 + 1 个共享专家 每 token 激活 8 个
隐藏维度 6144 index_topk: 2048,支持 1M 上下文

量化格式记法 W8A8C8 MXFP8 的含义:

  • W8:权重(Weight)8 bit,MXFP8 微缩放格式,per_block(32) 对称 minmax;
  • A8:激活(Activation)8 bit,MXFP8 动态量化,同样 per_block(32);
  • C8:KV Cache 8 bit,MXFP8 per-tile(128),量化阶段登记、部署侧执行。

💡 与同目录方案 w8a8_mxfp8(无 C8、无 KV Cache 量化)的产物不通用,选型时务必区分。

二、六大阶段总览

整条流水线在 GLM-5.3_best_practice.yaml 的 process 段按顺序声明,执行流程如下:

quarot → flex_smooth_quant → fa3_quant(indexer) → fa3_quant(knope/KV Cache)
→ linear_quant(self_attn) → linear_quant(mlp)

配置元数据 score: 90.0、验证场景 vLLM_Ascend + Atlas_350,说明该方案已在 310P(Atlas 350)上完成端到端验证。

三、阶段拆解:每步在解决什么问题

阶段 1:QuaRot 正交旋转——先"抹平"离群值

配置段:GLM-5.3_best_practice.yaml

大模型激活中少数通道的离群值(outlier)是 8 bit 量化精度的最大杀手。QuaRot 通过学习的正交旋转矩阵,把集中在少数通道的能量分散到所有通道,让后续 MXFP8 的每块(block=32)动态范围变小、精度更高。

关键参数:

参数 值 作用
block_size: -1 全局旋转 不做分块旋转
max_tp_size: 4 4 保证最多 4 路张量并行下旋转矩阵可切分
export_extra_info: true 开启 旋转矩阵随产物落盘

旋转矩阵产物有两份,部署时按需加载:

阶段 2:Flex SmoothQuant 平滑——把激活难度"迁移"到权重

配置段:GLM-5.3_best_practice.yaml

SmoothQuant 的核心思想是:在 norm-linear / ov 子图上插入一对互逆缩放系数,把激活张量的量化难度等价迁移到权重侧——权重是一次性静态量化的,扛得住更大的缩放。

  • enable_subgraph_type: [norm-linear, ov]:只在这两类子图生效,覆盖全部 79 层(含 MTP 层);
  • alpha / beta 为 null:由校准集 mix_calib.jsonl 自动搜索最优平滑强度,无需手动调参。

阶段 3:fa3_quant(Indexer)——稀疏索引的 FP8_E4M3 量化

配置段:GLM-5.3_best_practice.yaml

GLM-5.3 的稀疏注意力靠 Indexer 从长序列中检索 top-2048 个 token。其 q/k 投影采用 FP8_E4M3、per_token、对称 minmax(注意:不是 MXFP8,属预期设计):

  • 命中 *indexer*,排除第 0/1/2/70/74/78 层;
  • 实际生效的是第 6/10/…/66 层共 16 个 full-indexer 层(对应 config.json 中 indexer_types 为 full 的层)。

阶段 4:fa3_quant(knope 通路)——KV Cache 量化登记(C8 的来源)

配置段:GLM-5.3_best_practice.yaml

这是 W8A8C8 区别于 W8A8 的关键一步:对 MLA 的 knope 压缩通路逐 tile(128) 模拟 MXFP8 量化,并在描述文件中登记量化类型:

  • 覆盖第 3~73 层共 71 个 knope 层(排除 *indexer* 及首 3 层、末 5 层);
  • 量化阶段只做模拟登记,真正的按块 KV Cache 量化由 vLLM-Ascend 等推理框架在部署时执行,从而在长上下文下显著压缩显存占用。

阶段 5:linear_quant(self_attn)——注意力投影的 W8A8 MXFP8 静态量化

配置段:GLM-5.3_best_practice.yaml

对全部 79 层 *self_attn* 投影做 MXFP8 per_block(32) 对称 minmax 量化,显式保护以下对象:

  • kv_b_proj:MLA 值投影,量化易致长序列精度劣化;
  • wk / weights_proj:Indexer 的键投影,保持检索精度;
  • k_norm、o_proj 保持浮点。

阶段 6:linear_quant(mlp)——MLP 与 MoE 专家的量化

配置段:GLM-5.3_best_practice.yaml

命中 *mlp*,覆盖 dense MLP 与 256 个 MoE 专家 + 共享专家,排除 *gate*(路由门控,含 e_score_correction_bias)——路由稳定性是 MoE 模型的生命线,必须保留高精度。

最终 embedding / lm_head / 各类 norm / MTP head 也全部保留浮点。

四、产物落盘:193 个分片如何组织

流水线末端由 ascendv1_saver 落盘(GLM-5.3_best_practice.yaml,part_file_size: 4,单分片 4 GB):

文件 作用
quant_model_weights-00001-of-00193.safetensors 等 193 片 MXFP8 权重 + scale(U8 + F8_E4M3 两件套)
quant_model_weights.safetensors.index.json 张量 → 分片索引
quant_model_description.json 逐 tensor 量化类型登记(group_size: 32),部署侧据此加载
chat_template.jinja / tokenizer.json / tokenizer_config.json 对话模板与分词器

产物实测校验(详见 README.md):

  • 量化参数组 58,943 组,均为 weight + weight_scale 两件套;
  • 描述文件共 118,619 条目:W8A8_MXFP8 117,887、FLOAT 644(保护对象)、KV Cache 动态标记 71、Indexer 动态标记 16;
  • 193/193 分片 safetensors header 全部解析通过。

五、一键复现:8 卡 NPU 量化命令

安装 msModelSlim 后(需 transformers==5.15.0),执行:

msmodelslim quant \
  --model_path ${MODEL_PATH} \
  --save_path ${SAVE_PATH} \
  --device npu \
  --device_id 0 1 2 3 4 5 6 7 \
  --model_type GLM-5.3 \
  --quant_type w8a8c8 \
  --tags Atlas_350 \
  --trust_remote_code true

要点提示:

  • 原始权重 FP8 或 BF16 均可,工具链内部统一转 BF16 处理(FP8 → BF16 → MXFP8);
  • 校准集 mix_calib.jsonl 与配置同目录自动匹配,无需手动指定;
  • --tags Atlas_350 用于命中本方案配置;也可直接 --config 指向 GLM-5.3_best_practice.yaml。

六、常见踩坑清单

  1. ❌ 不要写 --quant_type mxfp8:不存在该枚举,MXFP8 由 tags 匹配的配置决定;
  2. ❌ 不要把保护对象纳入量化:gate、kv_b_proj、indexer.wk/weights_proj/k_norm、embedding / lm_head / norm 必须保留高精度;
  3. ⚠️ 改过 include/exclude 范围后,平滑参数与位宽强耦合,建议重新执行参数搜索;
  4. ⚠️ 区分 W8A8 与 W8A8C8:无 C8 的版本缺少 KV Cache 量化登记,两者产物不可互换;
  5. ⚠️ 原始 GLM-5.3 权重受其发布仓库许可约束,商用请遵循对应 LICENSE 条款。

总结

🧊 QuaRot 抹平离群值 → SmoothQuant 迁移难度 → fa3_quant 拿下 Indexer 与 KV Cache → linear_quant 完成注意力与 MLP 的 MXFP8 静态量化——六大阶段环环相扣,最终把 GLM-5.3 压缩为可在 Atlas 350 + vLLM-Ascend 上高效推理的 W8A8C8 MXFP8 产物。读懂 GLM-5.3_best_practice.yaml 这份配置,你就掌握了整条流水线的全部信息。

登录后查看全文
GLM-5.3-W8A8C8-mxfp8