AMD官方发布GLM-5.3-Flash-Quark-MXFP4:MXFP4量化多模态MoE大模型部署完全指南

原创2026-10-19 14:08:151,964 阅读
文章标签:人工智能大模型模型量化模型优化

AMD官方发布GLM-5.3-Flash-Quark-MXFP4:MXFP4量化多模态MoE大模型部署完全指南

AMD 正式发布 GLM-5.3-Flash-Quark-MXFP4 大模型权重:这是在多模态 MoE 模型 GLM-5.3-Flash 基础上,使用 AMD-Quark 量化工具完成的 MXFP4(4-bit 块浮点)量化版本,官方在 AMD Instinct MI350/MI355 数据中心 GPU 上用 SGLang 完成验证。本文带你快速看懂模型架构、MXFP4 量化原理、硬件要求与部署步骤,在 AMD GPU 集群上搭建多模态推理服务。

1️⃣ 模型亮点速览:多模态 MoE + 4-bit 量化

这个模型最核心的卖点可以归纳为一句话:在 4-bit 精度下,依然保持接近全精度的推理表现。关键信息如下:

项目 说明
基础模型 GLM-5.3-Flash(zai-org)
架构 Glm5NextForConditionalGeneration(glm5_next,详见 config.json)
输入 / 输出 文本、图像、视频 → 文本
MoE 结构 288 个路由专家 + 1 个共享专家,每 token 激活 Top-8 专家
注意力 34 层 KDA 线性注意力 + 11 层稀疏注意力(DSA),MLA 低秩投影
上下文 max_position_embeddings 高达 1,048,576(约 1M tokens)
量化 OCP MXFP4:权重静态量化、激活动态量化,仅作用于 MoE 部分
硬件 AMD MI350 / MI355(CDNA 4,gfx950),Linux
推理引擎 SGLang
许可证 MIT(LICENSE)

💡 模型还内置了 MTP(多 Token 预测)层(num_nextn_predict_layers: 1),可用于进一步加速解码;对话模板 chat_template.jinja 原生支持思维链(thinking,reasoning_effort 可选 low/high/max)与工具调用。

2️⃣ MXFP4 量化原理:AMD-Quark 如何实现 4-bit

什么是 MXFP4

MXFP4 是 OCP(开放计算项目)定义的 microscaling 浮点格式:每 32 个权重为一组(group_size: 32),用 4-bit 浮点存权重、每组共享一个 e8m0 缩放因子,兼顾显存占用与数值稳定性。这些参数都记录在 config.json 的 quantization_config 中:

  • 权重:fp4 + per_group + is_dynamic: false(静态量化,推理零额外开销)
  • 激活:fp4 + per_group + is_dynamic: true(动态量化,运行时计算缩放)
  • 舍入方式:half_even(银行家舍入)

为什么只量化 MoE 部分

量化策略(见 README.md 的 Quantization 脚本与 config.json 的 exclude 列表)刻意把以下模块保留为高精度:

  • 全部自注意力层(self_attn)
  • 前 3 层的 Dense MLP、视觉编码器(visual)
  • 词嵌入(embed)与输出头(lm_head)
  • MTP 预测层(第 45 层)

MoE 专家的 FFN 是模型参数量和显存的大头,把它压到 4-bit,收益最大;而对精度敏感的注意力与 I/O 层保持原精度,是"量化不掉智商"的关键设计。

3️⃣ 部署前检查清单:硬件与软件版本

⚠️ 原生 MXFP4 执行必须使用 gfx950 GPU。MI300X / MI325X(gfx942)不在支持范围内。

依赖项 版本
GPU AMD Instinct MI350X / MI355X(gfx950,MI355X 单卡 288 GB HBM)
ROCm 7.2.0
PyTorch 2.9.1+rocm7.2.0
Transformers 5.12.1
SGLang 0.5.18(需使用 README 指定的源码提交,见下文)
操作系统 Linux

仓库文件一览(模型共 62 个分片,总大小约 185 GB,映射关系见 model.safetensors.index.json):

4️⃣ 三步启动 SGLang:从容器到推理服务

第一步:获取模型文件

模型文件较大(62 分片,约 185 GB)。在 SGLang 中通过 --model-path amd/GLM-5.3-Flash-Quark-MXFP4 即可自动拉取;也可以提前用 hf auth login 登录并指定 HF_HOME 缓存目录,避免重复下载。

第二步:拉起 SGLang 容器(AMD GPU 专用参数)

由于固定镜像版本早于 GLM-5.3 的混合 Quark MXFP4 / block-FP8 加载器改动,必须按 README.md Deployment 一节的说明,获取指定提交的 SGLang 源码并挂载进容器:

git clone https://github.com/sgl-project/sglang.git
git -C sglang checkout 654df43cbee108a81fa1736c34ba8c701f199285

hf auth login
export HF_HOME="${HF_HOME:-$HOME/.cache/huggingface}"

docker run --rm -it \
  --network host \
  --ipc host \
  --device /dev/kfd \
  --device /dev/dri \
  --group-add video \
  --cap-add SYS_PTRACE \
  --security-opt seccomp=unconfined \
  -v "$PWD/sglang:/sgl-workspace/sglang" \
  -v "$HF_HOME:/root/.cache/huggingface" \
  lmsysorg/sglang@sha256:6d68cd19206716cb3f1e31e2ad89cd0852d7ae614a792773c30a4277f8955c72 \
  bash

第三步:启动 8 卡 TP8 + EP8 服务

在容器内执行(官方验证配置):

cd /sgl-workspace/sglang
export PYTHONPATH=/sgl-workspace/sglang/python:${PYTHONPATH:-}
export SGLANG_USE_AITER=1
export HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
export ROCR_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

python -m sglang.launch_server \
  --model-path amd/GLM-5.3-Flash-Quark-MXFP4 \
  --served-model-name amd/GLM-5.3-Flash-Quark-MXFP4 \
  --tp-size 8 \
  --ep-size 8 \
  --attention-backend dsa \
  --dsa-prefill-backend tilelang \
  --dsa-decode-backend tilelang \
  --linear-attn-backend triton \
  --kv-cache-dtype bfloat16 \
  --moe-runner-backend aiter \
  --disable-shared-experts-fusion \
  --disable-radix-cache \
  --context-length 65536 \
  --max-running-requests 64 \
  --cuda-graph-backend-decode full \
  --cuda-graph-max-bs-decode 64 \
  --mem-fraction-static 0.85 \
  --model-loader-extra-config '{"enable_multithread_load":true,"num_threads":8}' \
  --watchdog-timeout 1200 \
  --trust-remote-code \
  --reasoning-parser glm45 \
  --tool-call-parser glm47 \
  --host 127.0.0.1 \
  --port 30000

📌 关键参数速解

参数 作用
--tp-size 8 --ep-size 8 8 卡张量并行 + 专家并行(官方验证配置)
--attention-backend dsa 使用 DeepSeek 稀疏注意力后端
--linear-attn-backend triton 线性注意力层走 Triton 内核
--moe-runner-backend aiter MoE 前向走 AMD AITER 高性能内核(需 SGLANG_USE_AITER=1)
--kv-cache-dtype bfloat16 KV Cache 以 bf16 存储
--context-length 65536 服务侧上下文上限 64K
--mem-fraction-static 0.85 静态显存占用比例
--reasoning-parser glm45 / --tool-call-parser glm47 分别启用思维链解析与工具调用解析

只有 4 张卡? 使用 GPU 0,1,2,3,改为 --tp-size 4,并去掉 --ep-size 8 即可,两种配置均通过完整 decode 图捕获验证。

5️⃣ 实测精度:GSM8K 达到 97% 以上

官方在完整 1,319 题的 GSM8K 测试集上、开启 thinking 模式实测:

基准 硬件 并行方式 答对题数 准确率
GSM8K 4× MI350X(gfx950) TP4 1,282 / 1,319 97.19%
GSM8K 8× MI350X(gfx950) TP8 + EP8 1,281 / 1,319 97.12%

两次运行均 100% 正常结束,无重复、截断或服务错误——4-bit 量化几乎没有损伤数学推理能力。

6️⃣ 服务起来之后怎么用

服务启动后,SGLang 提供 OpenAI 兼容的 /v1 接口(http://127.0.0.1:30000/v1),任何 OpenAI SDK / curl 客户端都能直接接入,模型名填 amd/GLM-5.3-Flash-Quark-MXFP4。多模态请求中,图像与视频会由 processor_config.json 定义的 Glm5NextProcessor 统一预处理(图像单张最多 8000 tokens,视频按 2 fps 采样)。

7️⃣ 常见问题 FAQ

Q1:MI300X 能跑吗? 不能。原生 MXFP4 内核只支持 gfx950(MI350X/MI355X),gfx942 架构不在该配方支持范围内。

Q2:最少需要几张卡? 官方验证为 4 卡(TP4)和 8 卡(TP8+EP8)两种配置;模型权重约 185 GB,请确保总 HBM 容量充足并预留 KV Cache 空间。

Q3:支持思考模式和函数调用吗? 都支持。对话模板原生支持 thinking(可调 reasoning_effort),服务端分别用 --reasoning-parser glm45 与 --tool-call-parser glm47 解析。

Q4:为什么要用指定提交的 SGLang 源码? 固定 Docker 镜像早于 GLM-5.3 混合 Quark MXFP4/block-FP8 加载器改动,必须将 README.md 指定的 SGLang 源码提交挂载进容器才能正确加载该检查点。

Q5:许可证可以商用吗? 模型权重为 MIT 许可证(LICENSE),可自由使用、修改与分发。

8️⃣ 写在最后

GLM-5.3-Flash-Quark-MXFP4 展示了 4-bit 量化在超大 MoE 多模态模型上的成熟落地:MXFP4 权重 + AMD-Quark 静态量化 + AITER/DSA 高性能内核,在 MI350/MI355 上以 4-bit 精度实现了 GSM8K 97%+ 的推理质量。如果你的集群是 CDNA 4 架构的 AMD GPU,这套"开箱即验证"的 SGLang 部署方案值得直接采用;部署细节可完整对照 README.md 的 Deployment 章节执行。

登录后查看全文
GLM-5.3-Flash-Quark-MXFP4