深度解析GLM-5.3-w8a8量化配方:quarot离线校准与SmoothQuant平滑如何兼顾速度与精度
深度解析GLM-5.3-w8a8量化配方:quarot离线校准与SmoothQuant平滑如何兼顾速度与精度
GLM-5.3-w8a8 是基于 GLM-5.3 大模型制作的 W8A8 量化版本:权重与激活值都压缩到 int8,专为昇腾(Ascend)NPU 推理优化。相比 bf16 原版,权重体积近乎减半,矩阵乘法可直接命中 NPU 的 int8 加速引擎——但"压得动"不等于"压得好"。这篇文章带你读懂仓库里的量化配方:quarot 离线校准与 SmoothQuant 平滑是如何一步步保住精度的。
一、为什么选 W8A8:速度与精度之争
对 MoE 模型来说,推理成本集中在两个地方:权重的搬运(参数量大,bf16 权重非常占显存)和 attention / MoE 专家的矩阵乘法。W8A8 量化(W8 = 权重 int8,A8 = 激活 int8)直接命中这两个痛点:
| 维度 | bf16 原版 | W8A8 量化版 |
|---|---|---|
| 权重体积 | 1x | 约 0.5x |
| 矩阵乘法 | bf16 GEMM | int8 GEMM(NPU 深度加速) |
| KV Cache | bf16 | 保持 bf16(kv_cache: false) |
💡 注意:GLM-5.3-w8a8 没有对 KV Cache 做量化(见 GLM-5.3_best_practice.yaml#L8 中的
kv_cache: false),长上下文解码质量因此更稳定。
但 int8 只有约 127 个刻度,而 LLM 激活值里天然存在"离群值(outlier)"——个别通道数值远超均值,直接截断会让精度雪崩。所以这份配方的核心思路是:先"摆平"离群值,再下手量化。
二、量化配方全览:GLM-5.3_best_practice.yaml
GLM-5.3_best_practice.yaml 是整份配方的"总纲",流水线按顺序执行四步:
| 步骤 | 类型 | 作用 |
|---|---|---|
| 1 | quarot(离线) |
旋转校准重排激活分布,抹平离群值 |
| 2 | flex_smooth_quant |
SmoothQuant 平滑,均衡权重/激活的动态范围 |
| 3 | linear_quant × 2 |
attention / MLP 线性层统一 int8 量化 |
| 4 | ascendv1_saver |
按昇腾格式切分为 181 个权重分片 |
元信息部分给出了"出厂验证"标签:配方在 vLLM_Ascend 运行器上,于 Atlas A2 / A3 推理卡完成验证(GLM-5.3_best_practice.yaml#L10-L15),配方得分 90.0。
三、第一步:QuARoT 离线旋转校准
对应配置(GLM-5.3_best_practice.yaml#L21-L26):
- type: quarot
online: false # 离线校准模式
block_size: -1 # 不分块,全矩阵级旋转
down_proj_online_layers: []
max_tp_size: 4 # 适配最多 4 路张量并行
export_extra_info: true # 导出旋转矩阵供推理端使用
它在做什么?
QuARoT 的思路是:量化前对线性层的输入做一次固定旋转(类似 Hadamard 变换)。旋转是正交操作,数学上不改变模型表达,但会把"少数通道的离群尖峰"摊平到所有通道上——离群值被稀释后,int8 刻度就装得下了。
online: false表示旋转在离线阶段完成校准,推理时只做一次轻量变换;max_tp_size: 4说明旋转矩阵按"最多 4 路张量并行切分"设计,多卡部署时旋转与切分完美对齐;export_extra_info: true会额外导出旋转矩阵,即根目录的 rot.safetensors 与可选文件 optional/quarot.safetensors,推理框架靠它们在在线"复现"这套旋转。
四、第二步:Flex SmoothQuant 平滑
对应配置(GLM-5.3_best_practice.yaml#L27-L35):
- type: flex_smooth_quant
alpha: null # 自动搜索最优平滑因子
beta: null
enable_subgraph_type:
- norm-linear # 归一化→线性层子图
- ov
include:
- '*'
SmoothQuant 解决的是同一问题的另一面:把激活侧的"难度"按平滑因子 α 迁移到权重侧。经过旋转后权重分布更均匀,这次迁移几乎无损。
alpha: null表示平滑因子由工具自动搜索,而非人工指定;- 它专门作用于
norm-linear子图(LayerNorm 后紧跟的 Linear 层)——这正是 LLM 中离群值最集中的位置; include: '*'表示所有符合条件的子图都会被平滑,不留死角。
🎯 一句话总结两步分工:QuARoT 负责"把分布摆平",SmoothQuant 负责"把难度从激活搬到权重",二者叠加之后,才敢对整网下 int8 手。
五、第三步:W8A8 线性层量化与"豁免清单"
两条 linear_quant 规则(GLM-5.3_best_practice.yaml#L36-L69)共同覆盖了所有量化目标:
| 对象 | 数据类型 | 粒度 | 校准方式 |
|---|---|---|---|
| 激活值 | int8 | per_token(逐 token) | minmax 对称 |
| 权重 | int8 | per_channel(逐通道) | minmax 对称 |
两条规则各管一摊,且都带有"豁免清单":
- attention 层:
include: *self_attn*,但排除*kv_b_proj、*wk、*weights_proj——MLA 的 KV 低秩投影等特殊投影保持 bf16,它们对精度敏感且体积占比小; - MLP / MoE 层:
include: *mlp*,但排除*gate*——专家路由门控(router)保持 bf16,避免路由决策被 int8 抖动干扰。
校准数据使用 mix_calib.jsonl 混合数据集(GLM-5.3_best_practice.yaml#L73),用真实分布而非随机张量估计 minmax 范围,这也是精度稳定的关键之一。
六、量化产物:181 个权重分片
量化结果按昇腾格式保存(ascendv1_saver,单分片约 4GB,GLM-5.3_best_practice.yaml#L70-L72),在仓库中体现为:
- 181 个分片文件:quant_model_weights-00001-of-00181.safetensors 至 quant_model_weights-00181-of-00181.safetensors
- 全局索引:quant_model_weights.safetensors.index.json
- 逐权重量化描述(scale 等元数据):quant_model_description.json
模型本体仍是 GLM-5.3 的 MoE 架构(config.json):78 层(config.json#L200)、前 3 层 dense、其余为 256 路由专家 + top-8 选择的稀疏 MoE 层,支持 1M 上下文(config.json#L109)与 MTP 多 token 预测。
七、部署指南:vLLM_Ascend 加载步骤
- 克隆仓库(181 个分片,注意磁盘空间):
git clone https://gitcode.com/Eco-Tech/GLM-5.3-w8a8
- 准备昇腾环境(Atlas A2 / A3 推理卡),安装对应版本的 vLLM Ascend 版;
- 直接以本地目录路径启动服务,框架会自动读取 config.json、quant_model_description.json 与 rot.safetensors 完成加载;
- 推理参数可参考 generation_config.json(
temperature: 1.0、top_p: 0.95),对话模板见 chat_template.jinja,分词器为 tokenizer.json。
✅ 新手提示:张量并行切分数不要超过
max_tp_size: 4,否则旋转矩阵切分可能不匹配。
八、新手常见问题(FAQ)
Q1:W8A8 相比 bf16 会损失多少精度? 这份配方通过"旋转 + 平滑 + 真实数据校准"三板斧把损失压到最低(配方得分 90.0),多数通用任务感知差异很小;KV Cache 保持 bf16 也保住了长文本解码质量。
Q2:optional/quarot.safetensors 是必需的吗?
它位于可选目录,属于附加信息;核心旋转矩阵在根目录 rot.safetensors。
Q3:能换到其他硬件上跑吗? 权重本身是 int8 safetensors 通用格式,但量化描述按昇腾格式导出,官方验证环境是 vLLM_Ascend + Atlas A2/A3,其他平台不保证兼容。
Q4:为什么 gate 和 kv_b_proj 不做量化? 它们体积占比小、但对路由与注意力质量敏感,保留 bf16 是"用极小体积换稳定性"的典型权衡。