AMD官方发布GLM-5.3-Flash-Quark-MXFP4:MXFP4量化多模态MoE大模型部署完全指南
AMD官方发布GLM-5.3-Flash-Quark-MXFP4:MXFP4量化多模态MoE大模型部署完全指南
AMD 正式发布 GLM-5.3-Flash-Quark-MXFP4 大模型权重:这是在多模态 MoE 模型 GLM-5.3-Flash 基础上,使用 AMD-Quark 量化工具完成的 MXFP4(4-bit 块浮点)量化版本,官方在 AMD Instinct MI350/MI355 数据中心 GPU 上用 SGLang 完成验证。本文带你快速看懂模型架构、MXFP4 量化原理、硬件要求与部署步骤,在 AMD GPU 集群上搭建多模态推理服务。
1️⃣ 模型亮点速览:多模态 MoE + 4-bit 量化
这个模型最核心的卖点可以归纳为一句话:在 4-bit 精度下,依然保持接近全精度的推理表现。关键信息如下:
| 项目 | 说明 |
|---|---|
| 基础模型 | GLM-5.3-Flash(zai-org) |
| 架构 | Glm5NextForConditionalGeneration(glm5_next,详见 config.json) |
| 输入 / 输出 | 文本、图像、视频 → 文本 |
| MoE 结构 | 288 个路由专家 + 1 个共享专家,每 token 激活 Top-8 专家 |
| 注意力 | 34 层 KDA 线性注意力 + 11 层稀疏注意力(DSA),MLA 低秩投影 |
| 上下文 | max_position_embeddings 高达 1,048,576(约 1M tokens) |
| 量化 | OCP MXFP4:权重静态量化、激活动态量化,仅作用于 MoE 部分 |
| 硬件 | AMD MI350 / MI355(CDNA 4,gfx950),Linux |
| 推理引擎 | SGLang |
| 许可证 | MIT(LICENSE) |
💡 模型还内置了 MTP(多 Token 预测)层(num_nextn_predict_layers: 1),可用于进一步加速解码;对话模板 chat_template.jinja 原生支持思维链(thinking,reasoning_effort 可选 low/high/max)与工具调用。
2️⃣ MXFP4 量化原理:AMD-Quark 如何实现 4-bit
什么是 MXFP4
MXFP4 是 OCP(开放计算项目)定义的 microscaling 浮点格式:每 32 个权重为一组(group_size: 32),用 4-bit 浮点存权重、每组共享一个 e8m0 缩放因子,兼顾显存占用与数值稳定性。这些参数都记录在 config.json 的 quantization_config 中:
- 权重:
fp4+per_group+is_dynamic: false(静态量化,推理零额外开销) - 激活:
fp4+per_group+is_dynamic: true(动态量化,运行时计算缩放) - 舍入方式:
half_even(银行家舍入)
为什么只量化 MoE 部分
量化策略(见 README.md 的 Quantization 脚本与 config.json 的 exclude 列表)刻意把以下模块保留为高精度:
- 全部自注意力层(
self_attn) - 前 3 层的 Dense MLP、视觉编码器(
visual) - 词嵌入(
embed)与输出头(lm_head) - MTP 预测层(第 45 层)
MoE 专家的 FFN 是模型参数量和显存的大头,把它压到 4-bit,收益最大;而对精度敏感的注意力与 I/O 层保持原精度,是"量化不掉智商"的关键设计。
3️⃣ 部署前检查清单:硬件与软件版本
⚠️ 原生 MXFP4 执行必须使用 gfx950 GPU。MI300X / MI325X(gfx942)不在支持范围内。
| 依赖项 | 版本 |
|---|---|
| GPU | AMD Instinct MI350X / MI355X(gfx950,MI355X 单卡 288 GB HBM) |
| ROCm | 7.2.0 |
| PyTorch | 2.9.1+rocm7.2.0 |
| Transformers | 5.12.1 |
| SGLang | 0.5.18(需使用 README 指定的源码提交,见下文) |
| 操作系统 | Linux |
仓库文件一览(模型共 62 个分片,总大小约 185 GB,映射关系见 model.safetensors.index.json):
- config.json — 模型架构与量化配置
- model-00001-of-00062.safetensors ~ model-00062-of-00062.safetensors — 权重分片
- chat_template.jinja — 对话模板(thinking / 工具调用)
- processor_config.json — 图像 / 视频预处理配置
- tokenizer.json、tokenizer_config.json — 分词器
- generation_config.json — 生成默认参数
- LICENSE — MIT 许可证
4️⃣ 三步启动 SGLang:从容器到推理服务
第一步:获取模型文件
模型文件较大(62 分片,约 185 GB)。在 SGLang 中通过 --model-path amd/GLM-5.3-Flash-Quark-MXFP4 即可自动拉取;也可以提前用 hf auth login 登录并指定 HF_HOME 缓存目录,避免重复下载。
第二步:拉起 SGLang 容器(AMD GPU 专用参数)
由于固定镜像版本早于 GLM-5.3 的混合 Quark MXFP4 / block-FP8 加载器改动,必须按 README.md Deployment 一节的说明,获取指定提交的 SGLang 源码并挂载进容器:
git clone https://github.com/sgl-project/sglang.git
git -C sglang checkout 654df43cbee108a81fa1736c34ba8c701f199285
hf auth login
export HF_HOME="${HF_HOME:-$HOME/.cache/huggingface}"
docker run --rm -it \
--network host \
--ipc host \
--device /dev/kfd \
--device /dev/dri \
--group-add video \
--cap-add SYS_PTRACE \
--security-opt seccomp=unconfined \
-v "$PWD/sglang:/sgl-workspace/sglang" \
-v "$HF_HOME:/root/.cache/huggingface" \
lmsysorg/sglang@sha256:6d68cd19206716cb3f1e31e2ad89cd0852d7ae614a792773c30a4277f8955c72 \
bash
第三步:启动 8 卡 TP8 + EP8 服务
在容器内执行(官方验证配置):
cd /sgl-workspace/sglang
export PYTHONPATH=/sgl-workspace/sglang/python:${PYTHONPATH:-}
export SGLANG_USE_AITER=1
export HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
export ROCR_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
python -m sglang.launch_server \
--model-path amd/GLM-5.3-Flash-Quark-MXFP4 \
--served-model-name amd/GLM-5.3-Flash-Quark-MXFP4 \
--tp-size 8 \
--ep-size 8 \
--attention-backend dsa \
--dsa-prefill-backend tilelang \
--dsa-decode-backend tilelang \
--linear-attn-backend triton \
--kv-cache-dtype bfloat16 \
--moe-runner-backend aiter \
--disable-shared-experts-fusion \
--disable-radix-cache \
--context-length 65536 \
--max-running-requests 64 \
--cuda-graph-backend-decode full \
--cuda-graph-max-bs-decode 64 \
--mem-fraction-static 0.85 \
--model-loader-extra-config '{"enable_multithread_load":true,"num_threads":8}' \
--watchdog-timeout 1200 \
--trust-remote-code \
--reasoning-parser glm45 \
--tool-call-parser glm47 \
--host 127.0.0.1 \
--port 30000
📌 关键参数速解
| 参数 | 作用 |
|---|---|
--tp-size 8 --ep-size 8 |
8 卡张量并行 + 专家并行(官方验证配置) |
--attention-backend dsa |
使用 DeepSeek 稀疏注意力后端 |
--linear-attn-backend triton |
线性注意力层走 Triton 内核 |
--moe-runner-backend aiter |
MoE 前向走 AMD AITER 高性能内核(需 SGLANG_USE_AITER=1) |
--kv-cache-dtype bfloat16 |
KV Cache 以 bf16 存储 |
--context-length 65536 |
服务侧上下文上限 64K |
--mem-fraction-static 0.85 |
静态显存占用比例 |
--reasoning-parser glm45 / --tool-call-parser glm47 |
分别启用思维链解析与工具调用解析 |
只有 4 张卡? 使用 GPU 0,1,2,3,改为 --tp-size 4,并去掉 --ep-size 8 即可,两种配置均通过完整 decode 图捕获验证。
5️⃣ 实测精度:GSM8K 达到 97% 以上
官方在完整 1,319 题的 GSM8K 测试集上、开启 thinking 模式实测:
| 基准 | 硬件 | 并行方式 | 答对题数 | 准确率 |
|---|---|---|---|---|
| GSM8K | 4× MI350X(gfx950) |
TP4 | 1,282 / 1,319 | 97.19% |
| GSM8K | 8× MI350X(gfx950) |
TP8 + EP8 | 1,281 / 1,319 | 97.12% |
两次运行均 100% 正常结束,无重复、截断或服务错误——4-bit 量化几乎没有损伤数学推理能力。
6️⃣ 服务起来之后怎么用
服务启动后,SGLang 提供 OpenAI 兼容的 /v1 接口(http://127.0.0.1:30000/v1),任何 OpenAI SDK / curl 客户端都能直接接入,模型名填 amd/GLM-5.3-Flash-Quark-MXFP4。多模态请求中,图像与视频会由 processor_config.json 定义的 Glm5NextProcessor 统一预处理(图像单张最多 8000 tokens,视频按 2 fps 采样)。
7️⃣ 常见问题 FAQ
Q1:MI300X 能跑吗?
不能。原生 MXFP4 内核只支持 gfx950(MI350X/MI355X),gfx942 架构不在该配方支持范围内。
Q2:最少需要几张卡? 官方验证为 4 卡(TP4)和 8 卡(TP8+EP8)两种配置;模型权重约 185 GB,请确保总 HBM 容量充足并预留 KV Cache 空间。
Q3:支持思考模式和函数调用吗?
都支持。对话模板原生支持 thinking(可调 reasoning_effort),服务端分别用 --reasoning-parser glm45 与 --tool-call-parser glm47 解析。
Q4:为什么要用指定提交的 SGLang 源码? 固定 Docker 镜像早于 GLM-5.3 混合 Quark MXFP4/block-FP8 加载器改动,必须将 README.md 指定的 SGLang 源码提交挂载进容器才能正确加载该检查点。
Q5:许可证可以商用吗? 模型权重为 MIT 许可证(LICENSE),可自由使用、修改与分发。
8️⃣ 写在最后
GLM-5.3-Flash-Quark-MXFP4 展示了 4-bit 量化在超大 MoE 多模态模型上的成熟落地:MXFP4 权重 + AMD-Quark 静态量化 + AITER/DSA 高性能内核,在 MI350/MI355 上以 4-bit 精度实现了 GSM8K 97%+ 的推理质量。如果你的集群是 CDNA 4 架构的 AMD GPU,这套"开箱即验证"的 SGLang 部署方案值得直接采用;部署细节可完整对照 README.md 的 Deployment 章节执行。