为什么MoE权重被压到1/4?GLM-5.3-Flash-Quark-MXFP4的MXFP4量化原理完整解析
为什么MoE权重被压到1/4?GLM-5.3-Flash-Quark-MXFP4的MXFP4量化原理完整解析
GLM-5.3-Flash-Quark-MXFP4 是 AMD 官方用 Quark 工具对 GLM-5.3-Flash 大模型做 MXFP4 量化后的开源权重:它把占比约 95% 的 MoE 专家权重从 BF16 压缩到 4bit,总体积缩小到原来的约 1/4,同时保留注意力层、路由器等"敏感部位"的高精度。本文将用仓库里真实可查的数字,把这套量化方案的原理讲清楚 📊
一、先看结果:MoE 权重到底"瘦"了多少
要理解"压到 1/4",先看这个模型的规模(可对照 config.json 中的 n_routed_experts: 288、moe_intermediate_size: 2048、hidden_size: 4096):
| 项目 | 数值 | 说明 |
|---|---|---|
| MoE 层数 | 42 层 | 第 3~44 层,前 3 层是 dense MLP |
| 每层路由专家 | 288 个 | 每个 token 只激活 8 个(num_experts_per_tok: 8) |
| 单专家参数 | 3 × 4096 × 2048 ≈ 2517 万 | gate/up/down 三个投影矩阵 |
| 路由专家总参数 | ≈ 3044 亿 | 占全模型约 95% |
| BF16 原体积 | ≈ 608.8 GB | 3044 亿 × 2 字节 |
| MXFP4 后体积 | ≈ 161.7 GB | 每权重平均 4.25 bit |
压缩比 161.7 / 608.8 ≈ 0.27,也就是约 1/4。而 model.safetensors.index.json 里记录的总字节数正是 185,077,182,400(约 171 GiB,含未量化的注意力层和词嵌入),与上表完全对得上 ✅
一句话:这个模型的"胖"几乎全在 MoE 专家权重上,把 MoE 量化 = 把整个模型量化。 这也是标题中"MoE 权重被压到 1/4"的由来。
二、MXFP4 是什么:4-bit 数值 + 每 32 个权重共享一个 2 的幂缩放因子
MXFP4 是 OCP(Open Compute Project)定义的 microscaling(微缩放)格式,核心思想只有一句话:
低精度数值负责"形状",每小组一个高动态范围的缩放因子负责"量级"。
拆开来看,config.json 的 quantization_config 中给出了完整参数:
dtype: fp4:每个权重只存 4 bit 的定点数值,精度极低、幅度被限制在很小的范围内group_size: 32(qscheme: per_group):每 32 个权重分成一组,组内共享一个缩放因子scale_format: e8m0:缩放因子是"8 bit 指数的 2 的幂"(如 2⁻⁷、2⁰、2⁵),没有尾数,只负责把数值平移到合适的量级round_method: half_even:采用银行家舍入,量化误差更对称scale_calculation_mode: even:组内最大值向上取到最近的 2 的幂,保证组内所有权重都不越界(不用裁剪)
所以每个权重的平均位宽是:
4 bit(数值) + 8 bit(缩放因子,32 个权重分摊)= 4 + 1/4 = 4.25 bit
对比 BF16 的 16 bit,4.25 / 16 ≈ 1/3.8,这就是"压到 1/4"的精确来源 🧮
为什么组大小是 32? 这是精度与开销的平衡:组越小缩放因子越精细、量化误差越小,但元数据越多。32 是业界 microscaling 标准(MX)的统一选择,也正好匹配新一代 AI 加速器里 microscaling 张量核的硬件块大小——在 AMD Instinct MI350X(CDNA4, gfx950)上,MXFP4 GEMM 有原生硬件支持,4bit 权重可以以远高于 FP8 的带宽被"喂"给计算单元 ⚡
三、静态权重量化 vs 动态激活量化:同一份配置,两种时机
这是本方案最容易被忽略、却最关键的设计。config.json 的 global_quant_config 里,权重和激活用的是同一套 MXFP4 参数,但时机完全不同:
| 张量 | is_dynamic |
何时计算缩放因子 | 存在哪里 |
|---|---|---|---|
weight(权重) |
false(静态) |
离线,量化时算好 | 与权重成对的 weight_scale 张量 |
input_tensors(激活) |
true(动态) |
推理时,按运行时数据现算 | 不持久化 |
具体表现可以自己在索引文件里验证:model.safetensors.index.json 的 weight_map 共 76,108 个张量,其中被量化的专家权重全部以 xxx.weight(fp4 打包值)+ xxx.weight_scale(e8m0 缩放因子)成对出现,仅专家部分就有 37,152 对。这些缩放因子是 PerBlockMXObserver 在量化阶段用原始 BF16 权重算好的(observer_cls 字段),推理时直接读取,零额外开销。
而激活值每次推理的分布都不同,缩放因子无法预先算出,所以采用动态量化:运行时对输入激活按每 32 个一组实时求 2 的幂缩放因子,再量化成 fp4 参与矩阵乘法。权重静态、激活动态,是 4bit 推理部署最主流、也最稳妥的组合。
四、哪些层"逃过一劫":626 条排除清单背后的取舍
压缩不是越狠越好。config.json 的 exclude 列表足足有 626 条,保留了这些部分的原始精度:
self_attn.*:所有注意力投影矩阵(Q/K/V/O 等)保持 BF16mlp.gate:MoE 路由器(且moe_router_dtype: float32),负责"选哪个专家"- 第 0~2 层的 dense MLP:模型开头部分不做量化
visual.*:视觉编码器(图文多模态部分)lm_head、词嵌入:输出层保持高精度- 第 45 层(MTP 多 token 预测块)
道理很简单:注意力、路由器和输出层对每个 token 都 100% 参与,且数值分布敏感,量化误差会稳定地污染结果;而路由专家每个 token 只用到 288 个中的 8 个,误差被天然的稀疏性和 top-k 路由"稀释"掉了。 把量化火力集中在 MoE 专家上,既拿到了 4 倍压缩,又把精度损失控制在了可忽略范围——这是"选择性量化"的典型示范 🎯
五、一个值得注意的例外:共享专家为什么用 FP8 而不是 FP4?
如果你细读 config.json 的 layer_quant_config,会发现 924 个张量被单独指定成了另一种方案:
- 位置:第 3、7、11、15、19、23、27、31、35、39、43 层(稀疏注意力层)的
shared_experts,以及第 45 层专家 - 方案:权重
fp8_e4m3,按 128×128 二维块(block_size: [128, 128])配 FP32 缩放因子;激活仍是动态 FP8
为什么唯独共享专家"高半个档次"?因为共享专家对每个 token 都激活(n_shared_experts: 1),它的误差不会被稀疏性稀释,量化代价远高于"每 36 个 token 才轮到一次"的路由专家。给它 FP8(8bit 数值 + FP32 块缩放)而不是 FP4,是在体积与精度之间精打细算的结果。这也解释了仓库中 MXFP4 与 block-FP8 混合加载的由来。
六、动手核对:用仓库文件验证本文每个结论
本文所有数字都可以在仓库内直接验证,推荐按顺序查看:
- config.json:模型结构与全部量化配置(
quantization_config一节) - model.safetensors.index.json:76,108 个张量的"账本",可数出
.weight/.weight_scale对、核对 185,077,182,400 总字节数 - model-00001-of-00062.safetensors:62 个分片权重文件之一,量化后的实际存储内容
- README.md:量化脚本(AMD-Quark V0.12,
scheme="mxfp4")、SGLang 部署命令与精度评测 - tokenizer.json、tokenizer_config.json、chat_template.jinja、generation_config.json:分词与推理行为配置
七、落地参考:这套量化方案跑在什么硬件上
原生 MXFP4 执行需要 CDNA4(gfx950)架构。README 中验证过的部署方式为 8 卡 AMD Instinct MI350X(TP8+EP8)或 4 卡(TP4),SGLang 0.5.18 + ROCm 7.2.0,关键参数包括 --moe-runner-backend aiter、--ep-size 8 等。精度方面,GSM8K 全量 1319 题在 4 卡/8 卡上分别达到 97.19% / 97.12%,与 BF16 基线基本持平——这就是"压到 1/4 还能用"的最终证明 ✅
八、小结:MoE 大模型量化为什么"压得动"
- 参数分布决定压缩策略:304B 路由专家权重占约 95%,量化 MoE 专家 ≈ 量化全模型,4.25 bit 对 16 bit 得到约 1/4 体积。
- MXFP4 = 4bit 数值 + 每 32 组一个 2 的幂缩放因子:组内不越界(even 取整)、组间自适应量级,静态权重、动态激活的组合兼顾精度与零开销推理。
- 精度守门人保留原精度:注意力、路由器、词嵌入、视觉塔全部排除;每 token 必激活的共享专家用 FP8 兜底——选择性量化是精度不掉的核心。
- 硬件闭环:CDNA4 原生 MXFP4 张量核让 4bit GEMM 跑得动,量化格式、推理引擎(SGLang + aiter)、GPU 三者匹配才有实际吞吐收益。
理解了这套"MoE-only MXFP4 + 共享专家 FP8 + 敏感层豁免"的组合拳,你就掌握了当前超大 MoE 模型 4bit 量化部署的完整逻辑。