glm47-flash-blockwise-fp8多卡部署指南:为什么TP只能设1或2?DP Attention+专家并行全方案
glm47-flash-blockwise-fp8多卡部署指南:为什么TP只能设1或2?DP Attention+专家并行全方案
glm47-flash-blockwise-fp8 是 GLM-4.7-Flash 的 blockwise FP8 量化版,专为 SGLang 多卡部署优化:权重体积只有 BF16 原版的一半(约 30 GiB vs 58 GiB),精度几乎无损。本文用一篇讲清两个最常被问到的问题——为什么它的 TP(张量并行)只能设 1 或 2,以及 4 卡以上如何用 DP Attention + 专家并行(EP)拿到最佳吞吐。
一、先认识这个模型:它和普通 FP8 量化有什么不同
glm47-flash-blockwise-fp8 不是"一刀切"的 per-tensor FP8,而是 128×128 分块量化:每 128×128 的权重块配一个独立 scale(e4m3 格式 + 动态激活缩放)。这就是 config.json 里 weight_block_size: [128, 128] 的含义,也是后文"TP 限制"的根源。
量化范围一览(详见 README.md):
| 部分 | 精度 | 说明 |
|---|---|---|
| 注意力线性层、稠密 MLP、全部路由/共享专家(含 MTP 层) | FP8 e4m3 | 128×128 块级 scale |
Embedding、lm_head、LayerNorm、MoE Router |
BF16 | 对精度敏感,保持高精度 |
模型本体是 MoE 架构(Glm4MoeLiteForCausalLM),关键参数可以从 config.json 直接确认:
- 47 层(
num_hidden_layers: 47),支持约 20 万 token 上下文(max_position_embeddings: 202752) - 每层 64 个路由专家 + 1 个共享专家,每个 token 激活 4 个专家(
num_experts_per_tok: 4) - 采用 MLA 类压缩注意力(
kv_lora_rank: 512、v_head_dim: 256) - 自带 1 层 MTP 预测头(
num_nextn_predict_layers: 1),可直接配合 EAGLE 投机解码
量化质量如何?官方在 gsm8k(5-shot 全量测试集)上的评测:FP8 得 0.809,BF16 为 0.819,平均接受长度 2.41 vs 2.43——精度损失可忽略,换来的是一倍的显存节省。权重分布在 48 个分片中,例如 model-00001-of-00048.safetensors,完整张量索引见 model.safetensors.index.json。
二、为什么 TP 只能设 1 或 2?
这是部署 glm47-flash-blockwise-fp8 时最容易踩的坑。官方在 README.md 中明确说明:
Attention tensor parallelism must be 1 or 2: at 4, each rank's
kv_b_projshard (2240 rows) is not a multiple of the 128-row block.
用人话拆解这条限制:
- TP 切分权重 = 按行/列切矩阵。设 TP=4,
kv_b_proj切给每张卡的份额是 2240 行; - blockwise FP8 的 scale 是 128 行一组的。反量化时要求每块权重行数能被 128 整除;
- 2240 ÷ 128 = 17.5,不能整除 → scale 对不齐,直接无法正确反量化。
而 TP=2 时每个 rank 拿到 4480 行,4480 ÷ 128 = 35,恰好整除,所以能跑。
结论:这不是 SGLang 的限制,而是"分块量化粒度"与"切分粒度"必须对齐的数学要求。设成 4、8 会启动失败或出错。
三、4 卡以上怎么办?DP Attention + 专家并行全方案
既然 TP 被限制在 2,想上 4 卡、8 卡怎么办?答案是 DP Attention(注意力数据并行)+ Expert Parallelism(专家并行) 的组合,这也是 MoE 模型多卡部署的最优解:
- 注意力部分:走 DP 而非 TP,每张卡各自算注意力,天然绕开
kv_b_proj切分问题(DP attention 下 TP 仍按 2 对齐分块) - 专家部分:64 个路由专家按卡切分(EP),每卡只存一部分专家,MoE 前向时通过 all-to-all 通信转发 token
- 通信后端:用 DeepEP(
--moe-a2a-backend deepep)加速专家间 all-to-all 通信
1. 2 卡部署(最简方案)
python -m sglang.launch_server --model-path RadixArk/glm47-flash-blockwise-fp8 --tp-size 2 \
--speculative-algorithm EAGLE --speculative-num-steps 2 \
--speculative-eagle-topk 1 --speculative-num-draft-tokens 3
2. 4 卡部署(DP Attention + EP 官方推荐组合)
python -m sglang.launch_server --model-path RadixArk/glm47-flash-blockwise-fp8 \
--tp-size 4 --dp-size 4 --enable-dp-attention --ep-size 4 \
--moe-a2a-backend deepep --cuda-graph-max-bs-decode 128
参数速查:
| 参数 | 作用 | 新手提示 |
|---|---|---|
--tp-size |
张量并行度 | 本模型建议设为卡数的 1 或 2 |
--dp-size |
数据并行度 | 与 --enable-dp-attention 搭配使用 |
--enable-dp-attention |
注意力走 DP | 4 卡以上必开 |
--ep-size |
专家并行度 | 64 个专家切到多卡 |
--moe-a2a-backend deepep |
MoE 通信后端 | 显著提升专家路由吞吐 |
--cuda-graph-max-bs-decode 128 |
解码 CUDA Graph 最大批大小 | 提高高并发下解码效率 |
--speculative-algorithm EAGLE |
启用 EAGLE 投机解码 | 利用模型自带 MTP 层加速生成 |
💡 提示:
--cuda-graph-max-bs-decode 128表示对最大 128 的并发解码批捕获 CUDA Graph,高并发场景下能显著降低 CPU 开销。
四、为什么推荐同时开启 EAGLE 投机解码
该模型自带 1 层 MTP(Multi-Token Prediction)头,相当于"官方预训练好的草稿模型",用 EAGLE 算法可以直接拿来做投机解码,无需额外下载 draft 模型。官方评测显示接受长度约 2.4 token/步,意味着生成速度可以明显提升,且 FP8 量化对接受长度几乎无影响(2.41 vs 2.43)。
采样参数建议参照 generation_config.json:temperature: 1.0,结束符为 154820 / 154827 / 154829;对话模板见 chat_template.jinja,词表配置见 tokenizer.json。
五、常见问题速答
Q1:为什么我设 --tp-size 4 启动就报错?
kv_b_proj 每 rank 2240 行不能被 128 行分块整除。改用第三节的 DP Attention + EP 方案,或降回 TP=2。
Q2:2 卡显存装不下怎么办?
FP8 版约 30 GiB 权重,加上 KV Cache 和激活,建议每卡 32 GB 以上(如 2×A100/H100 80G 非常宽裕);若显存紧张,优先降低 --mem-fraction-static 之外的并发量,而不是继续加 TP。
Q3:FP8 和 BF16 该选哪个? 显存够(58 GiB 权重能放下)且追求极限精度可选 BF16 原版;绝大多数生产场景选本 FP8 版——精度损失 <1%,显存减半,部署更简单。
Q4:8 卡怎么配?
思路与 4 卡一致:--tp-size 2 --dp-size 8 --enable-dp-attention --ep-size 8 --moe-a2a-backend deepep,把 TP 锁在 2 对齐分块粒度,其余靠 DP/EP 扩展。
总结
glm47-flash-blockwise-fp8 的部署核心只有两句话:
- TP ≤ 2:128 行分块 scale 必须对齐,TP=4 时
kv_b_proj切分(2240 行)无法整除 128; - 卡数 > 2 用 DP Attention + EP:
--enable-dp-attention+--ep-size+ DeepEP,MoE 专家切分才是吞吐关键。
掌握这两点,你就能在 2 卡到 8 卡之间自由扩展这个模型的服务能力了。