glm47-flash-blockwise-fp8多卡部署指南:为什么TP只能设1或2?DP Attention+专家并行全方案

原创2026-10-20 09:52:091,926 阅读

glm47-flash-blockwise-fp8多卡部署指南:为什么TP只能设1或2?DP Attention+专家并行全方案

glm47-flash-blockwise-fp8 是 GLM-4.7-Flash 的 blockwise FP8 量化版,专为 SGLang 多卡部署优化:权重体积只有 BF16 原版的一半(约 30 GiB vs 58 GiB),精度几乎无损。本文用一篇讲清两个最常被问到的问题——为什么它的 TP(张量并行)只能设 1 或 2,以及 4 卡以上如何用 DP Attention + 专家并行(EP)拿到最佳吞吐。

一、先认识这个模型:它和普通 FP8 量化有什么不同

glm47-flash-blockwise-fp8 不是"一刀切"的 per-tensor FP8,而是 128×128 分块量化:每 128×128 的权重块配一个独立 scale(e4m3 格式 + 动态激活缩放)。这就是 config.json 里 weight_block_size: [128, 128] 的含义,也是后文"TP 限制"的根源。

量化范围一览(详见 README.md):

部分 精度 说明
注意力线性层、稠密 MLP、全部路由/共享专家(含 MTP 层) FP8 e4m3 128×128 块级 scale
Embedding、lm_head、LayerNorm、MoE Router BF16 对精度敏感,保持高精度

模型本体是 MoE 架构(Glm4MoeLiteForCausalLM),关键参数可以从 config.json 直接确认:

  • 47 层(num_hidden_layers: 47),支持约 20 万 token 上下文(max_position_embeddings: 202752)
  • 每层 64 个路由专家 + 1 个共享专家,每个 token 激活 4 个专家(num_experts_per_tok: 4)
  • 采用 MLA 类压缩注意力(kv_lora_rank: 512、v_head_dim: 256)
  • 自带 1 层 MTP 预测头(num_nextn_predict_layers: 1),可直接配合 EAGLE 投机解码

量化质量如何?官方在 gsm8k(5-shot 全量测试集)上的评测:FP8 得 0.809,BF16 为 0.819,平均接受长度 2.41 vs 2.43——精度损失可忽略,换来的是一倍的显存节省。权重分布在 48 个分片中,例如 model-00001-of-00048.safetensors,完整张量索引见 model.safetensors.index.json。

二、为什么 TP 只能设 1 或 2?

这是部署 glm47-flash-blockwise-fp8 时最容易踩的坑。官方在 README.md 中明确说明:

Attention tensor parallelism must be 1 or 2: at 4, each rank's kv_b_proj shard (2240 rows) is not a multiple of the 128-row block.

用人话拆解这条限制:

  1. TP 切分权重 = 按行/列切矩阵。设 TP=4,kv_b_proj 切给每张卡的份额是 2240 行;
  2. blockwise FP8 的 scale 是 128 行一组的。反量化时要求每块权重行数能被 128 整除;
  3. 2240 ÷ 128 = 17.5,不能整除 → scale 对不齐,直接无法正确反量化。

而 TP=2 时每个 rank 拿到 4480 行,4480 ÷ 128 = 35,恰好整除,所以能跑。

结论:这不是 SGLang 的限制,而是"分块量化粒度"与"切分粒度"必须对齐的数学要求。设成 4、8 会启动失败或出错。

三、4 卡以上怎么办?DP Attention + 专家并行全方案

既然 TP 被限制在 2,想上 4 卡、8 卡怎么办?答案是 DP Attention(注意力数据并行)+ Expert Parallelism(专家并行) 的组合,这也是 MoE 模型多卡部署的最优解:

  • 注意力部分:走 DP 而非 TP,每张卡各自算注意力,天然绕开 kv_b_proj 切分问题(DP attention 下 TP 仍按 2 对齐分块)
  • 专家部分:64 个路由专家按卡切分(EP),每卡只存一部分专家,MoE 前向时通过 all-to-all 通信转发 token
  • 通信后端:用 DeepEP(--moe-a2a-backend deepep)加速专家间 all-to-all 通信

1. 2 卡部署(最简方案)

python -m sglang.launch_server --model-path RadixArk/glm47-flash-blockwise-fp8 --tp-size 2 \
  --speculative-algorithm EAGLE --speculative-num-steps 2 \
  --speculative-eagle-topk 1 --speculative-num-draft-tokens 3

2. 4 卡部署(DP Attention + EP 官方推荐组合)

python -m sglang.launch_server --model-path RadixArk/glm47-flash-blockwise-fp8 \
  --tp-size 4 --dp-size 4 --enable-dp-attention --ep-size 4 \
  --moe-a2a-backend deepep --cuda-graph-max-bs-decode 128

参数速查:

参数 作用 新手提示
--tp-size 张量并行度 本模型建议设为卡数的 1 或 2
--dp-size 数据并行度 与 --enable-dp-attention 搭配使用
--enable-dp-attention 注意力走 DP 4 卡以上必开
--ep-size 专家并行度 64 个专家切到多卡
--moe-a2a-backend deepep MoE 通信后端 显著提升专家路由吞吐
--cuda-graph-max-bs-decode 128 解码 CUDA Graph 最大批大小 提高高并发下解码效率
--speculative-algorithm EAGLE 启用 EAGLE 投机解码 利用模型自带 MTP 层加速生成

💡 提示:--cuda-graph-max-bs-decode 128 表示对最大 128 的并发解码批捕获 CUDA Graph,高并发场景下能显著降低 CPU 开销。

四、为什么推荐同时开启 EAGLE 投机解码

该模型自带 1 层 MTP(Multi-Token Prediction)头,相当于"官方预训练好的草稿模型",用 EAGLE 算法可以直接拿来做投机解码,无需额外下载 draft 模型。官方评测显示接受长度约 2.4 token/步,意味着生成速度可以明显提升,且 FP8 量化对接受长度几乎无影响(2.41 vs 2.43)。

采样参数建议参照 generation_config.json:temperature: 1.0,结束符为 154820 / 154827 / 154829;对话模板见 chat_template.jinja,词表配置见 tokenizer.json。

五、常见问题速答

Q1:为什么我设 --tp-size 4 启动就报错? kv_b_proj 每 rank 2240 行不能被 128 行分块整除。改用第三节的 DP Attention + EP 方案,或降回 TP=2。

Q2:2 卡显存装不下怎么办? FP8 版约 30 GiB 权重,加上 KV Cache 和激活,建议每卡 32 GB 以上(如 2×A100/H100 80G 非常宽裕);若显存紧张,优先降低 --mem-fraction-static 之外的并发量,而不是继续加 TP。

Q3:FP8 和 BF16 该选哪个? 显存够(58 GiB 权重能放下)且追求极限精度可选 BF16 原版;绝大多数生产场景选本 FP8 版——精度损失 <1%,显存减半,部署更简单。

Q4:8 卡怎么配? 思路与 4 卡一致:--tp-size 2 --dp-size 8 --enable-dp-attention --ep-size 8 --moe-a2a-backend deepep,把 TP 锁在 2 对齐分块粒度,其余靠 DP/EP 扩展。

总结

glm47-flash-blockwise-fp8 的部署核心只有两句话:

  1. TP ≤ 2:128 行分块 scale 必须对齐,TP=4 时 kv_b_proj 切分(2240 行)无法整除 128;
  2. 卡数 > 2 用 DP Attention + EP:--enable-dp-attention + --ep-size + DeepEP,MoE 专家切分才是吞吐关键。

掌握这两点,你就能在 2 卡到 8 卡之间自由扩展这个模型的服务能力了。

登录后查看全文
glm47-flash-blockwise-fp8