GLM-5.3-Flash-Quark-MXFP4 权重文件结构解剖:62 个分片与 weight_scale 里到底装了什么?

原创2026-10-20 19:50:041,898 阅读
文章标签:人工智能大模型模型量化模型优化

GLM-5.3-Flash-Quark-MXFP4 权重文件结构解剖:62 个分片与 weight_scale 里到底装了什么?

GLM-5.3-Flash-Quark-MXFP4 是 AMD 官方基于 AMD-Quark 对 GLM-5.3-Flash 多模态大模型做的 MXFP4 量化权重,专为 AMD Instinct MI350/MI355 GPU(CDNA4,gfx950)优化。本文带你完整解剖这套权重文件:62 个 safetensors 分片如何划分、76,108 个张量的命名规律,以及每个 weight_scale 张量里到底装了什么——32 个 4-bit 权重共享一个 8 位 e8m0 缩放因子。读完你就能不靠源码看懂这套权重的"家底"。

一、30 秒了解这个模型

项目 值
基座模型 GLM-5.3-Flash(文本 + 图像 + 视频输入)
量化方式 AMD-Quark,quant_method: quark,OCP MXFP4
硬件目标 AMD MI350/MI355(gfx950),ROCm 7.2.0 + SGLang
网络结构 45 层主干 + 1 层 MTP 层;34 层线性注意力 + 11 层稀疏注意力
MoE 规模 每层 288 个专家,top-8 路由 + 1 个共享专家
词表大小 154,880
精度验证 GSM8K 97%+(MI350X,TP4/TP8)

核心结论先放这里:这套权重只有 MoE 专家、共享专家、dense MLP 和少数注意力投影被量化,路由门、大部分注意力、词嵌入和视觉塔全部保留原始精度。

二、62 个权重分片:目录结构与命名规律

仓库中最显眼的就是这 62 个大文件:

model-00001-of-00062.safetensors
model-00002-of-00062.safetensors
...
model-00062-of-00062.safetensors
  • 单分片约 2.8~3 GB,索引元数据声明的总大小为 185,077,182,400 字节(约 185 GB / 172 GiB)
  • 全部张量共 76,108 个,平均每片约 1,230 个
  • 分片之间没有"层边界"含义,只是按顺序切分的大块;真正负责"哪个张量在哪片"的是 model.safetensors.index.json

配套的"说明书"文件:

💡 小技巧:想知道某个权重在哪个分片,直接查 model.safetensors.index.json 的 weight_map,不用下载整包。

三、76,108 个张量:谁被量化、谁被保留?

3.1 张量命名的"公式"

把编号抽象掉后,张量名只有 4 大族:

张量族 数量级 是否量化
...layers.N.mlp.experts.E.{up,gate,down}_proj.weight 12,384 × 3 ✅ MXFP4
对应 ...weight_scale 12,384 × 3 ✅ e8m0 缩放
...mlp.shared_experts.*(43 层 MoE 各 1 个) 258 ✅ MXFP4
注意力、归一化、router、视觉塔、嵌入 ~1,500 大部分 ❌ 保留 bf16

以第 21 层为例,每个分片里会看到这样的命名:

model.language_model.layers.21.mlp.experts.27.down_proj.weight
model.language_model.layers.21.mlp.experts.27.down_proj.weight_scale
model.language_model.layers.21.mlp.experts.259.gate_proj.weight
model.language_model.layers.21.mlp.experts.259.gate_proj.weight_scale
model.language_model.layers.21.self_attn.q_proj.weight   # 无 scale,保留原精度

规律一句话:被量化的投影必然成对出现 weight + weight_scale;没有 weight_scale 的,就是保留原始精度的"敏感模块"。

3.2 谁被排除了(保留 bf16 的模块)

config.json 的 exclude 列表约 600 条,覆盖范围可以归纳为:

  • 全部注意力层:线性注意力层的 q/k/v/o_proj、conv1d 等;稀疏注意力层只保留 indexer.* 与 kv_b_proj
  • MoE 路由器:mlp.gate(moe_router_dtype: float32,对精度极敏感)
  • 词嵌入与输出头:embed_tokens、lm_head
  • 视觉塔:model.visual.blocks.* 全部 24 个 ViT block + merger
  • MTP 层:model.language_model.layers.45.* 的注意力部分(见下文 FP8 特例)

3.3 一个例外:第 45 层(MTP 层)专家用 FP8

config.json 的 layer_quant_config 给第 45 层(MTP 预测层)的专家单独指定了 fp8_e4m3、per_block [128,128]、float32 scale,与全局 MXFP4 不同。也就是说同一套权重里混着两种量化格式,部署端(SGLang)需要按配置分别加载——这也是 README 中提到的"mixed Quark MXFP4/block-FP8 loader"。

四、核心问题:weight_scale 里到底装了什么?

这是理解整套权重的钥匙。MXFP4(OCP Microscaling FP4)的存储结构是:

┌────────────────────────── 一个 32 元素分组 ──────────────────────────┐
│ weight:      32 个 FP4 值 → 打包成 16 字节(2 个 FP4/字节)          │
│ weight_scale: 1 个 e8m0 缩放因子 → 1 字节(8 位纯指数浮点)          │
└──────────────────────────────────────────────────────────────────────┘

对应 config.json 中的全局量化参数:

参数 值 含义
dtype fp4 权重本体 4-bit
qscheme per_group 按组量化
group_size 32 每 32 个元素一组
scale_format e8m0 缩放因子是 8 位指数、0 位尾数的浮点
scale_type float scale 按浮点解释
round_method half_even 银行家舍入
observer_cls PerBlockMXObserver Quark 的 MX 分块观测器
is_dynamic(权重) false 静态量化,scale 已离线算好
is_dynamic(输入激活) true 激活值运行时动态量化

所以回答标题问题:

  1. weight:不是普通的浮点数组,而是两个 FP4 打包进一个字节的紧凑数据,形状约为 [out, in/2];
  2. weight_scale:每个 32 个权重一个字节的 e8m0 指数数组,形状约为 [out, in/32]。它只编码"这一组权重整体放大/缩小 2 的多少次方";
  3. 反量化公式:原始权重 ≈ FP4值 × 2^scale指数。计算时硬件先恢复 scale、再做 4-bit 矩阵乘,这就是 MI350/MI355 上原生 MXFP4 算子的存储格式。

📌 直观感受:每 32 个权重占 16 字节数据 + 1 字节 scale,约为 bf16 的 1/7.6 体积——这就是 MoE 部分能压进 62 个分片、总盘符只有 ~172 GiB 的原因。

五、不动硬盘也能做的"结构体检"

只下载 model.safetensors.index.json 和 config.json,就能回答大部分问题:

  • 分片是否齐全:检查 weight_map 的 value 是否恰好覆盖 model-00001-of-00062.safetensors ~ model-00062-of-00062.safetensors;
  • 量化范围是否符合预期:凡 exclude 内的张量都不应出现 weight_scale 配对;
  • 量化参数核对:quantization_config.global_quant_config.weight 应为 fp4 / per_group / group_size=32 / e8m0。

六、快速部署要点(SGLang)

按 README.md 的验证配方,关键点如下:

python -m sglang.launch_server \
  --model-path <本地权重目录> \
  --tp-size 8 --ep-size 8 \
  --attention-backend dsa \
  --moe-runner-backend aiter \
  --kv-cache-dtype bfloat16 \
  --disable-shared-experts-fusion \
  --trust-remote-code \
  --host 127.0.0.1 --port 30000
  • 4 卡部署用 --tp-size 4 并去掉 --ep-size 8
  • 原生 MXFP4 需要 gfx950;MI300X/MI325X(gfx942)不支持该配方
  • 完整命令与环境版本(ROCm 7.2.0、Transformers 5.12.1)见 README.md

七、总结:一张表看懂 62 个分片

问题 答案
为什么是 62 个文件? 按 ~3 GB 顺序切分的 safetensors 分片,映射关系在 model.safetensors.index.json
76,108 个张量里最大的一族? MoE 专家投影:12,384 个专家 × 3 个投影 ×(weight + scale)= 74,304 个
量化了什么? MoE 专家、共享专家、dense MLP(0-2 层)、稀疏注意力的 q_a/q_b/kv_a/o_proj
保留原精度的是什么? 路由 gate、绝大部分注意力、嵌入/输出头、视觉塔
weight_scale 是什么? 每 32 个 FP4 权重配 1 个 e8m0 指数字节,构成 OCP MXFP4 存储格式
有什么特例? 第 45 层(MTP)专家单独使用 FP8 e4m3 分块量化

掌握"weight 与 weight_scale 成对出现"这条主线,这套权重的目录结构就再无秘密——你甚至可以在不加载任何张量的情况下,仅凭两个 JSON 文件完成结构审计。

登录后查看全文
GLM-5.3-Flash-Quark-MXFP4