手把手复现AMD-Quark量化:Muse-Spark-Open-816B-A42B-Quark-PTPC-FP8官方量化脚本逐行解读
手把手复现AMD-Quark量化:Muse-Spark-Open-816B-A42B-Quark-PTPC-FP8官方量化脚本逐行解读
本仓库 Muse-Spark-Open-816B-A42B-Quark-PTPC-FP8 是 AMD 官方使用 AMD-Quark 工具对 816B 参数多模态 MoE 大模型 Muse-Spark 做 PTPC FP8 (E4M3) 量化 后的成品检查点。本文手把手带你复现整条 AMD-Quark 量化流程,并把官方量化脚本逐行拆解开,帮助新手理解 FP8 量化的每一个参数。
30秒看懂:这是一个什么样的量化模型?
在动手复现之前,先用一张表建立全局印象(数据来自 README.md 与 config.json):
| 项目 | 说明 |
|---|---|
| 模型架构 | MuseSparkForConditionalGeneration,支持文本/图片/视频/音频输入,文本输出 |
| 规模 | 总参数 816B,激活参数 42B 的 MoE 模型(62 层,每层 256 个专家,每 token 激活 8 个) |
| 量化工具 | AMD-Quark v0.12(quant_method: quark) |
| 权重量化 | FP8 (E4M3),Per-Channel,Static(静态 per-channel scale) |
| 激活量化 | FP8 (E4M3),Per-Token,Dynamic(推理时动态计算 scale) |
| 量化范围 | 全部 62 层的 MoE 专家权重与 self-attention 投影 |
| 保留 bf16 | vision 塔、audio 塔、专家路由 gate、pre_expert_proj/post_expert_proj、lm_head |
| 目标硬件 | AMD MI300 / MI325 / MI350 / MI355(Linux) |
| 推理引擎 | SGLang / vLLM |
💡 一句话总结 PTPC:权重按"通道"(Per-Channel)静态量化,激活按"token"(Per-Token)动态量化,是 AMD-Quark 中兼顾精度与速度的主流 FP8 方案。
环境准备:量化前你要准备什么?
复现量化只需要三样东西:
- Python 环境:安装 PyTorch 与 AMD-Quark(
pip install quark,版本需对齐仓库 config 中的0.12)。 - 基座模型:AMD 官方的 bf16 原始模型
meta-models/Muse-Spark-Open-816B-A42B(816B 参数,bf16 下体积约 1.6TB)。 - 磁盘空间:量化产物约 850GB(FP8 权重减半),建议预留 2TB 以上临时空间。
⚠️ 新手常见误区:你以为量化要把 816B 模型整个"装进显存"?不必。AMD-Quark 的 direct_quantize_checkpoint 是离线直读 safetensors 分片逐块转换的 CPU 侧操作,不需要 GPU 显存,这也是它能处理 816B 巨模型的關鍵。
官方量化脚本逐行解读
完整的官方脚本位于 README.md#L30-L72,下面按 4 个步骤逐段拆解。
第一步:导入量化三件套
from quark.torch import ModelQuantizer
from quark.torch.quantization.config.template import LLMTemplate
from quark.torch.quantization.weight_convert import SplitFusedExperts, WeightConverter
- ModelQuantizer:AMD-Quark 的核心量化执行器,负责真正读写权重文件;
- LLMTemplate:大模型"量化模板"注册中心,用模板声明模型结构、排除层等;
- WeightConverter / SplitFusedExperts:量化前的权重结构转换器,本例专门用来拆分 MoE 融合专家权重。
第二步:注册 Muse-Spark 的量化模板
LLMTemplate.register_template(
LLMTemplate(
model_type="muse_spark",
kv_layers_name=["*k_proj", "*v_proj"],
q_layer_name="*q_proj",
exclude_layers_name=[
"lm_head",
"*vision*",
"*audio*",
"model.language_model.layers.*.mlp.pre_expert_proj",
"model.language_model.layers.*.mlp.post_expert_proj",
"model.language_model.layers.*.mlp.gate",
],
...
)
)
逐参数解释:
| 参数 | 含义 |
|---|---|
model_type |
模板标识名 muse_spark,后续用它取回模板 |
kv_layers_name |
用通配符标记 KV Cache 相关层(k_proj/v_proj),为未来 KV Cache 量化留接口 |
q_layer_name |
标记 Query 投影层 |
exclude_layers_name |
排除清单:这些层不做 FP8,保留 bf16 原精度 |
📌 为什么排除这些层? 这是官方精度权衡的结果:
lm_head词表达 20 万维(见 config.json 的vocab_size: 202048),低比特会直接伤害生成质量;*vision*/*audio*是感知塔,参数量占比小且对噪声敏感;gate(专家路由器)只有几百个权重却决定每个 token 走哪 8 个专家,量化误差会放大成路由错误,必须保 bf16。
第三步:拆分 MoE 融合专家权重(最关键的一步)
f2f_weight_converters=[
WeightConverter(
"gate_up_proj",
["gate_proj.weight", "up_proj.weight"],
operations=[SplitFusedExperts(split_axis=0)],
),
WeightConverter(
"down_proj",
["down_proj.weight"],
operations=[SplitFusedExperts(split_axis=0)],
),
]
🧩 这段在解决什么问题? Muse-Spark 每层有 256 个专家,为节省存储空间,原始检查点把 256 个专家的 gate_proj、up_proj、down_proj 沿第 0 维堆叠(fuse)成大矩阵存储。直接量化这种"大杂烩"矩阵,per-channel scale 会把 256 个专家的尺度混在一起。
SplitFusedExperts(split_axis=0) 先把它按专家拆回独立小块,WeightConverter 再把拆出的 gate_proj+up_proj 合并命名成 gate_up_proj(SGLang/vLLM 推理引擎的标准命名),down_proj 单独保留。这一步保证了每个专家独立拥有自己的量化 scale,精度损失最小化。
第四步:取 PTPC FP8 配置并执行量化
template = LLMTemplate.get("muse_spark")
quant_config = template.get_config(scheme="ptpc_fp8")
quantizer = ModelQuantizer(quant_config)
quantizer.direct_quantize_checkpoint(
pretrained_model_path="meta-models/Muse-Spark-Open-816B-A42B",
save_path="amd/Muse-Spark-Open-816B-A42B-Quark-PTPC-FP8",
weight_converters=template.f2f_weight_converters,
)
get_config(scheme="ptpc_fp8"):从模板中取名为 PTPC FP8 的方案,即权重 Per-Channel 静态 FP8、激活 Per-Token 动态 FP8,内部自动填充fp8_e4m3、PerChannelMinMaxObserver等参数;direct_quantize_checkpoint(...):真正干活的入口。逐分片读取 bf16 原始权重 → 套用第三步的拆分转换 → 计算 per-channel scale → 写出 FP8 权重与 scale 张量;save_path:输出目录,也就是本文所在仓库Muse-Spark-Open-816B-A42B-Quark-PTPC-FP8本身。
量化结果如何验证?
跑完后,用这三步确认产物正确:
① 检查 config.json 的 quantization_config
打开 config.json,重点看:
"quant_method": "quark"—— 标记由 AMD-Quark 产出;weight段:dtype: fp8_e4m3、qscheme: per_channel、ch_axis: 0、is_dynamic: false→ 权重静态 per-channel;input_tensors段:is_dynamic: true、ch_axis: 1→ 激活动态 per-token;exclude列表:与脚本中排除清单完全一致(62 层的gate/pre_expert_proj/post_expert_proj+ 全部 vision/audio 层);version: 0.12.post1—— 与 AMD-Quark v0.12 对应。
② 检查权重分片
model.safetensors.index.json 给出全部 65 个分片(model-00001-of-00065.safetensors 至 model-00065-of-00065.safetensors)的路径索引,可用它核对每个张量落在哪个分片。
③ 检查配套文件
- generation_config.json:官方推荐采样参数
top_k: 64、temperature: 1.0,上下文长度 1M; - chat_template.jinja:多模态对话模板,部署 SGLang/vLLM 时使用;
- LICENSE.md 与 USE_POLICY.md:模型许可证为
muse-model-license,商用前务必阅读。
常见疑问 FAQ
Q1:为什么选 FP8 而不是 INT4? 816B MoE 模型本身激活参数只有 42B,INT4 收益有限,而 FP8 (E4M3) 在 MI300/MI350 系列 GPU 上有原生硬件加速矩阵乘,是 AMD 平台当前精度-速度最优解。
Q2:ptpc_fp8 还有哪些兄弟方案?
AMD-Quark 模板同时提供 block-wise(如 block_fp8)等方案。PTPC 粒度最粗但开销最小,配合排除敏感层后足以保住精度,所以官方最终选了它。
Q3:自己改模型结构后需要动哪里?
只需重写第二步的 LLMTemplate:调整 kv_layers_name/exclude_layers_name 通配符,并按你的专家堆叠方式配置 SplitFusedExperts,其余流程完全复用。
总结
整条 AMD-Quark 量化链路可以浓缩为一句话:注册模板(声明结构与排除层)→ 拆分 MoE 融合专家 → 取 ptpc_fp8 方案 → 离线直读直写检查点。四步走完,1.6TB 的 bf16 基座就变成了本仓库这份约一半体积、可直接在 SGLang/vLLM 上部署的 FP8 检查点。
新手复现时建议重点盯住两处:exclude_layers_name(决定精度下限)和 SplitFusedExperts(决定 MoE 专家能否拿到独立 scale)。把这两个想透,MoE 大模型的 FP8 量化就再无秘密。