GLM-5.3-Flash-Quark-MXFP4 权重文件结构解剖:62 个分片与 weight_scale 里到底装了什么?
GLM-5.3-Flash-Quark-MXFP4 权重文件结构解剖:62 个分片与 weight_scale 里到底装了什么?
GLM-5.3-Flash-Quark-MXFP4 是 AMD 官方基于 AMD-Quark 对 GLM-5.3-Flash 多模态大模型做的 MXFP4 量化权重,专为 AMD Instinct MI350/MI355 GPU(CDNA4,gfx950)优化。本文带你完整解剖这套权重文件:62 个 safetensors 分片如何划分、76,108 个张量的命名规律,以及每个 weight_scale 张量里到底装了什么——32 个 4-bit 权重共享一个 8 位 e8m0 缩放因子。读完你就能不靠源码看懂这套权重的"家底"。
一、30 秒了解这个模型
| 项目 | 值 |
|---|---|
| 基座模型 | GLM-5.3-Flash(文本 + 图像 + 视频输入) |
| 量化方式 | AMD-Quark,quant_method: quark,OCP MXFP4 |
| 硬件目标 | AMD MI350/MI355(gfx950),ROCm 7.2.0 + SGLang |
| 网络结构 | 45 层主干 + 1 层 MTP 层;34 层线性注意力 + 11 层稀疏注意力 |
| MoE 规模 | 每层 288 个专家,top-8 路由 + 1 个共享专家 |
| 词表大小 | 154,880 |
| 精度验证 | GSM8K 97%+(MI350X,TP4/TP8) |
核心结论先放这里:这套权重只有 MoE 专家、共享专家、dense MLP 和少数注意力投影被量化,路由门、大部分注意力、词嵌入和视觉塔全部保留原始精度。
二、62 个权重分片:目录结构与命名规律
仓库中最显眼的就是这 62 个大文件:
model-00001-of-00062.safetensors
model-00002-of-00062.safetensors
...
model-00062-of-00062.safetensors
- 单分片约 2.8~3 GB,索引元数据声明的总大小为 185,077,182,400 字节(约 185 GB / 172 GiB)
- 全部张量共 76,108 个,平均每片约 1,230 个
- 分片之间没有"层边界"含义,只是按顺序切分的大块;真正负责"哪个张量在哪片"的是 model.safetensors.index.json
配套的"说明书"文件:
- config.json:架构参数 +
quantization_config(量化方案都在这里) - model.safetensors.index.json:76,108 条"张量名 → 分片文件名"映射
- tokenizer.json、tokenizer_config.json、chat_template.jinja:分词与对话模板
- generation_config.json:生成参数
- README.md:量化脚本、SGLang 部署命令与精度评测
💡 小技巧:想知道某个权重在哪个分片,直接查
model.safetensors.index.json的weight_map,不用下载整包。
三、76,108 个张量:谁被量化、谁被保留?
3.1 张量命名的"公式"
把编号抽象掉后,张量名只有 4 大族:
| 张量族 | 数量级 | 是否量化 |
|---|---|---|
...layers.N.mlp.experts.E.{up,gate,down}_proj.weight |
12,384 × 3 | ✅ MXFP4 |
对应 ...weight_scale |
12,384 × 3 | ✅ e8m0 缩放 |
...mlp.shared_experts.*(43 层 MoE 各 1 个) |
258 | ✅ MXFP4 |
| 注意力、归一化、router、视觉塔、嵌入 | ~1,500 | 大部分 ❌ 保留 bf16 |
以第 21 层为例,每个分片里会看到这样的命名:
model.language_model.layers.21.mlp.experts.27.down_proj.weight
model.language_model.layers.21.mlp.experts.27.down_proj.weight_scale
model.language_model.layers.21.mlp.experts.259.gate_proj.weight
model.language_model.layers.21.mlp.experts.259.gate_proj.weight_scale
model.language_model.layers.21.self_attn.q_proj.weight # 无 scale,保留原精度
规律一句话:被量化的投影必然成对出现 weight + weight_scale;没有 weight_scale 的,就是保留原始精度的"敏感模块"。
3.2 谁被排除了(保留 bf16 的模块)
config.json 的 exclude 列表约 600 条,覆盖范围可以归纳为:
- 全部注意力层:线性注意力层的
q/k/v/o_proj、conv1d等;稀疏注意力层只保留indexer.*与kv_b_proj - MoE 路由器:
mlp.gate(moe_router_dtype: float32,对精度极敏感) - 词嵌入与输出头:
embed_tokens、lm_head - 视觉塔:
model.visual.blocks.*全部 24 个 ViT block + merger - MTP 层:
model.language_model.layers.45.*的注意力部分(见下文 FP8 特例)
3.3 一个例外:第 45 层(MTP 层)专家用 FP8
config.json 的 layer_quant_config 给第 45 层(MTP 预测层)的专家单独指定了 fp8_e4m3、per_block [128,128]、float32 scale,与全局 MXFP4 不同。也就是说同一套权重里混着两种量化格式,部署端(SGLang)需要按配置分别加载——这也是 README 中提到的"mixed Quark MXFP4/block-FP8 loader"。
四、核心问题:weight_scale 里到底装了什么?
这是理解整套权重的钥匙。MXFP4(OCP Microscaling FP4)的存储结构是:
┌────────────────────────── 一个 32 元素分组 ──────────────────────────┐
│ weight: 32 个 FP4 值 → 打包成 16 字节(2 个 FP4/字节) │
│ weight_scale: 1 个 e8m0 缩放因子 → 1 字节(8 位纯指数浮点) │
└──────────────────────────────────────────────────────────────────────┘
对应 config.json 中的全局量化参数:
| 参数 | 值 | 含义 |
|---|---|---|
dtype |
fp4 |
权重本体 4-bit |
qscheme |
per_group |
按组量化 |
group_size |
32 |
每 32 个元素一组 |
scale_format |
e8m0 |
缩放因子是 8 位指数、0 位尾数的浮点 |
scale_type |
float |
scale 按浮点解释 |
round_method |
half_even |
银行家舍入 |
observer_cls |
PerBlockMXObserver |
Quark 的 MX 分块观测器 |
is_dynamic(权重) |
false |
静态量化,scale 已离线算好 |
is_dynamic(输入激活) |
true |
激活值运行时动态量化 |
所以回答标题问题:
weight:不是普通的浮点数组,而是两个 FP4 打包进一个字节的紧凑数据,形状约为[out, in/2];weight_scale:每个 32 个权重一个字节的e8m0指数数组,形状约为[out, in/32]。它只编码"这一组权重整体放大/缩小 2 的多少次方";- 反量化公式:
原始权重 ≈ FP4值 × 2^scale指数。计算时硬件先恢复 scale、再做 4-bit 矩阵乘,这就是 MI350/MI355 上原生 MXFP4 算子的存储格式。
📌 直观感受:每 32 个权重占 16 字节数据 + 1 字节 scale,约为 bf16 的 1/7.6 体积——这就是 MoE 部分能压进 62 个分片、总盘符只有 ~172 GiB 的原因。
五、不动硬盘也能做的"结构体检"
只下载 model.safetensors.index.json 和 config.json,就能回答大部分问题:
- 分片是否齐全:检查
weight_map的 value 是否恰好覆盖model-00001-of-00062.safetensors~model-00062-of-00062.safetensors; - 量化范围是否符合预期:凡
exclude内的张量都不应出现weight_scale配对; - 量化参数核对:
quantization_config.global_quant_config.weight应为fp4 / per_group / group_size=32 / e8m0。
六、快速部署要点(SGLang)
按 README.md 的验证配方,关键点如下:
python -m sglang.launch_server \
--model-path <本地权重目录> \
--tp-size 8 --ep-size 8 \
--attention-backend dsa \
--moe-runner-backend aiter \
--kv-cache-dtype bfloat16 \
--disable-shared-experts-fusion \
--trust-remote-code \
--host 127.0.0.1 --port 30000
- 4 卡部署用
--tp-size 4并去掉--ep-size 8 - 原生 MXFP4 需要
gfx950;MI300X/MI325X(gfx942)不支持该配方 - 完整命令与环境版本(ROCm 7.2.0、Transformers 5.12.1)见 README.md
七、总结:一张表看懂 62 个分片
| 问题 | 答案 |
|---|---|
| 为什么是 62 个文件? | 按 ~3 GB 顺序切分的 safetensors 分片,映射关系在 model.safetensors.index.json |
| 76,108 个张量里最大的一族? | MoE 专家投影:12,384 个专家 × 3 个投影 ×(weight + scale)= 74,304 个 |
| 量化了什么? | MoE 专家、共享专家、dense MLP(0-2 层)、稀疏注意力的 q_a/q_b/kv_a/o_proj |
| 保留原精度的是什么? | 路由 gate、绝大部分注意力、嵌入/输出头、视觉塔 |
weight_scale 是什么? |
每 32 个 FP4 权重配 1 个 e8m0 指数字节,构成 OCP MXFP4 存储格式 |
| 有什么特例? | 第 45 层(MTP)专家单独使用 FP8 e4m3 分块量化 |
掌握"weight 与 weight_scale 成对出现"这条主线,这套权重的目录结构就再无秘密——你甚至可以在不加载任何张量的情况下,仅凭两个 JSON 文件完成结构审计。