vLLM Ascend 部署 GLM-5.3(W8A8C8):多节点数据并行、Prefill-Decode 分离与 1M 上下文实战指南
vLLM Ascend 部署 GLM-5.3(W8A8C8):多节点数据并行、Prefill-Decode 分离与 1M 上下文实战指南
导读
本文基于 vllm-ascend 官方模型教程,系统讲解如何在华为昇腾 NPU(Atlas 800I A3 / A2)集群上部署 GLM-5.3 的 W8A8C8 量化权重,覆盖 Docker 镜像环境搭建、多节点数据并行(DP + TP + 专家并行)在线服务、Prefill-Decode(PD)分离架构、MemCache KV 缓存池,以及 1M 超长上下文下的 DCP(Decode Context Parallel)配置。读完本文,你将掌握 GLM-5.3 在昇腾集群上的完整部署命令、关键性能优化开关的作用与约束,以及功能验证、精度评估与性能压测的方法。
GLM-5.3 与 GLM-5.2 使用相同的基础模型,全部能力提升来自后训练阶段,在复杂编码与长周期任务上表现显著更优。vllm-ascend 仓库为其提供了完整的昇腾适配支持,从 支持矩阵文档 可以看到,GLM-5.3 在 A2/A3 平台上的特性支持度标记为 ✅(已支持),上下文能力为 200k(A2)/ 1M(A3)。
1 模型概览与支持特性
GLM-5.3 的推理适配涉及 vllm-ascend 多个核心模块。从源码结构看,其模型类型为 glm_moe_dsa(见 indexer.py),在注意力路径上使用 DSA(Deep Sparse Attention)与 Indexer 机制,这解释了部署命令中大量与 DSA、Indexer KV 缓存相关的参数。
支持特性总览请查阅:
- 特性矩阵:supported_models.md
- 特性配置指南:feature_guide/index.md
部署 GLM-5.3 需重点关注的特性包括:函数调用(tool call)、推理输出(reasoning)、量化(W8A8C8 + int8 KV cache)、专家并行(Expert Parallel)、Prefill-Decode 分离、KV 缓存跨引擎复用等,后续章节逐一展开。
2 前置条件
2.1 模型权重
| 权重版本 | 硬件要求 | 下载途径 |
|---|---|---|
GLM-5.3-w8a8c8 |
2 台 Atlas 800I A3(128GB × 8)节点,或 4 台 Atlas 800I A2(64GB × 8) | 从 ModelScope 模型仓库(Eco-Tech/GLM-5.3-w8a8c8)下载 |
- 也可以使用 Ascend 社区的
msmodelslim工具直接对 GLM-5.3 做量化生成 W8A8C8 权重。
建议将模型权重下载到多节点的共享目录,例如 /root/.cache/。
路径说明:将模型权重下载到你选择的目录并记录下来。后续部署命令中的模型路径必须与该目录保持一致(如
--model参数或MODEL_PATH变量)。
2.2 验证多节点通信(可选)
若计划部署多节点环境,需按照 安装文档 中“验证多节点通信环境”一节完成多节点互联验证,确保 HCCL/RDMA 网络在节点间可用。
3 环境安装
3.1 Docker 镜像安装
可以直接使用官方 Docker 镜像运行 GLM-5.3。
A3 系列(v0.30.0rc1-a3 镜像),在每个节点上启动:
export IMAGE=quay.io/ascend/vllm-ascend:v0.30.0rc1-a3
export NAME=vllm-ascend
# 使用定义的变量运行容器
# 注意:如果使用 docker 桥接网络,请预先为多节点通信暴露可用端口
docker run --rm \
--name $NAME \
--net=host \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci8 \
--device /dev/davinci9 \
--device /dev/davinci10 \
--device /dev/davinci11 \
--device /dev/davinci12 \
--device /dev/davinci13 \
--device /dev/davinci14 \
--device /dev/davinci15 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash
A2 系列(v0.30.0rc1 镜像),在每台节点上启动:
export IMAGE=quay.io/ascend/vllm-ascend:v0.30.0rc1
docker run --rm \
--name vllm-ascend \
--shm-size=1g \
--net=host \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash
A3 镜像映射 16 个 davinci 设备,A2 镜像映射 8 个;--net=host 保证 HCCL 多节点通信所需的端口直通。多节点部署时需要在每个节点上分别完成上述环境准备。
3.2 源码安装
如果不想使用 Docker 镜像,也可以从源码自行构建 vllm-ascend,具体步骤参见 安装文档。
4 在线服务部署:200K 上下文(1M 以下)
4.1 多节点数据并行部署(A3:2 节点)
GLM-5.3-w8a8c8 可部署在 2 台 Atlas 800I A3(64GB × 16)上。以下脚本在 v0.23.0 上验证通过。两个节点分别执行。
node 0(master 节点)
# 通过 ifconfig 获取
# nic_name 是当前节点 local_ip 对应的网络接口名
nic_name="xxx"
local_ip="xxx"
# node0_ip 的值必须与 node0(master 节点)中设置的 local_ip 保持一致
node0_ip="xxxx"
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export HCCL_BUFFSIZE=400
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export VLLM_ASCEND_ENABLE_MLAPO=1
# 确保模型路径与下载时记录的目录一致
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.3-w8a8c8 \
--host 0.0.0.0 \
--port 8000 \
--safetensors-load-strategy prefetch \
--api-server-count 1 \
--data-parallel-size 8 \
--data-parallel-start-rank 0 \
--data-parallel-size-local 4 \
--data-parallel-address $node0_ip \
--data-parallel-rpc-port 12980 \
--tensor-parallel-size 4 \
--enable-expert-parallel \
--seed 1024 \
--served-model-name glm-5 \
--tool-call-parser glm47 \
--reasoning-parser glm47 \
--enable-auto-tool-choice \
--max-num-seqs 6 \
--max-model-len 202752 \
--max-num-batched-tokens 4096 \
--trust-remote-code \
--gpu-memory-utilization 0.90 \
--quantization ascend \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--kv-cache-dtype int8 \
--attention_config.indexer_kv_dtype int8 \
--additional-config '{"enable_dsa_cp": true, "enable_balance_scheduling": true, "enable_fused_mc2": 1, "enable_flashcomm1": true}' \
--speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp", "enforce_eager": true}'
node 1(非 master 节点)
# 通过 ifconfig 获取
nic_name="xxx"
local_ip="xxx"
node0_ip="xxxx"
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export HCCL_BUFFSIZE=400
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export VLLM_ASCEND_ENABLE_MLAPO=1
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.3-w8a8c8 \
--host 0.0.0.0 \
--port 8000 \
--headless \
--data-parallel-size 8 \
--data-parallel-start-rank 4 \
--data-parallel-size-local 4 \
--data-parallel-address $node0_ip \
--data-parallel-rpc-port 12980 \
--tensor-parallel-size 4 \
--enable-expert-parallel \
--seed 1024 \
--served-model-name glm-5 \
--tool-call-parser glm47 \
--reasoning-parser glm47 \
--enable-auto-tool-choice \
--max-num-seqs 6 \
--max-model-len 202752 \
--max-num-batched-tokens 4096 \
--trust-remote-code \
--gpu-memory-utilization 0.92 \
--quantization ascend \
--enable-chunked-prefill \
--enable-prefix-caching \
--async-scheduling \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--kv-cache-dtype int8 \
--attention_config.indexer_kv_dtype int8 \
--additional-config '{"enable_dsa_cp": true, "enable_balance_scheduling": true, "enable_fused_mc2": 1, "enable_flashcomm1": true}' \
--speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp", "enforce_eager": true}'
4.2 多节点数据并行部署(A2:4 节点)
GLM-5.3-w8a8c8 可部署在 4 台 Atlas 800I A2(64GB × 8)上,四台节点分别执行。
node 0
nic_name="xxx"
local_ip="xxx"
node0_ip="xxx"
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export VLLM_RPC_TIMEOUT=360000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=200
export HCCL_CONNECT_TIMEOUT=120
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export ACL_OP_INIT_MODE=1
export CPU_AFFINITY_CONF=1
export VLLM_ASCEND_ENABLE_MLAPO=1
export VLLM_ENGINE_READY_TIMEOUT_S=1200
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.3-w8a8c8 \
--host 0.0.0.0 \
--port 8000 \
--max-model-len 135000 \
--data-parallel-size 4 \
--data-parallel-size-local 1 \
--data-parallel-start-rank 0 \
--data-parallel-address "${node0_ip}" \
--data-parallel-rpc-port 12980 \
--tensor-parallel-size 8 \
--enable-expert-parallel \
--seed 1024 \
--served-model-name glm-5 \
--reasoning-parser glm47 \
--safetensors-load-strategy prefetch \
--max-num-seqs 128 \
--max-num-batched-tokens 8192 \
--trust-remote-code \
--quantization ascend \
--gpu-memory-utilization 0.92 \
--speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp", "enforce_eager": true}' \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--kv-cache-dtype int8 \
--attention_config.indexer_kv_dtype int8 \
--additional-config '{"enable_dsa_cp": true, "enable_balance_scheduling": true, "fuse_muls_add": true, "multistream_overlap_shared_expert": true, "enable_flashcomm1": true}' \
--enable-prefix-caching \
--async-scheduling \
--api-server-count 1
node 1-3:与 node 0 命令基本一致,仅两处差异——dp_start_rank 按节点递增(node 1 为 1,node 2 为 2,node 3 为 3),且去掉 --api-server-count 1:
nic_name="xxx"
local_ip="xxx"
node0_ip="xxx"
dp_start_rank=1 # node1: dp_start_rank=1, node2: dp_start_rank=2, node3: dp_start_rank=3
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export VLLM_RPC_TIMEOUT=360000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=200
export HCCL_CONNECT_TIMEOUT=120
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export ACL_OP_INIT_MODE=1
export CPU_AFFINITY_CONF=1
export VLLM_ASCEND_ENABLE_MLAPO=1
export VLLM_ENGINE_READY_TIMEOUT_S=1200
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.3-w8a8c8 \
--host 0.0.0.0 \
--port 8000 \
--headless \
--max-model-len 135000 \
--data-parallel-size 4 \
--data-parallel-size-local 1 \
--data-parallel-start-rank ${dp_start_rank} \
--data-parallel-address "${node0_ip}" \
--data-parallel-rpc-port 12980 \
--tensor-parallel-size 8 \
--enable-expert-parallel \
--seed 1024 \
--served-model-name glm-5 \
--reasoning-parser glm47 \
--safetensors-load-strategy prefetch \
--max-num-seqs 128 \
--max-num-batched-tokens 8192 \
--trust-remote-code \
--quantization ascend \
--gpu-memory-utilization 0.92 \
--speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp", "enforce_eager": true}' \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--kv-cache-dtype int8 \
--attention_config.indexer_kv_dtype int8 \
--additional-config '{"enable_dsa_cp": true, "enable_balance_scheduling": true,"fuse_muls_add": true, "multistream_overlap_shared_expert": true, "enable_flashcomm1": true}' \
--enable-prefix-caching \
--async-scheduling
4.3 关键参数说明
以下仅说明该模型/场景特有的关键参数,max-model-len 与 max-num-seqs 需根据实际使用场景调整。
多节点网络与数据并行配置
HCCL_IF_IP、GLOO_SOCKET_IFNAME、TP_SOCKET_IFNAME、HCCL_SOCKET_IFNAME:多节点通信的网卡配置。nic_name设为网络接口名(通过ifconfig获取),local_ip设为当前节点 IP。每个节点都必须正确配置这些变量,多节点通信才能成功。--data-parallel-size 8:所有节点上的数据并行 rank 总数(本场景每节点 4 个 rank)。--data-parallel-size-local 4:当前节点上的数据并行 rank 数量。--data-parallel-start-rank:当前节点数据并行 rank 的起始偏移。node 0 使用0,node 1 使用4。--data-parallel-address:数据并行 master 节点(node 0)的 IP 地址,必须与 master 节点的local_ip一致。--data-parallel-rpc-port 12980:数据并行 master 通信的 RPC 端口,所有节点必须一致。--headless:表示非 master 节点(node 1-3 使用),node 0 不要使用。
A2 特有环境变量
CPU_AFFINITY_CONF=1:为 worker 进程启用 CPU 核绑定。ACL_OP_INIT_MODE=1:ACL 算子初始化模式,加速算子编译。VLLM_RPC_TIMEOUT=360000/VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000/HCCL_EXEC_TIMEOUT=200/HCCL_CONNECT_TIMEOUT=120/VLLM_ENGINE_READY_TIMEOUT_S=1200:A2 平台较慢,这些是多节点启动与模型执行相关的超时设置。如果引擎未能及时就绪,可适当调大。
注意事项
本场景启用了 additional_config.enable_fused_mc2=1(融合的 dispatch_ffn_combine/mega_moe 算子)。Fused MC2 与 multistream_overlap_shared_expert 互斥——两者不能同时启用(运行时在 Fused MC2 开启时会强制关闭 multistream_overlap_shared_expert)。这一约束在 ascend_config.py 的配置校验逻辑中有明确实现:当 enable_fused_mc2 == 1 且 multistream_overlap_shared_expert 同时为真时,后者会被自动置为 False 并打印提示日志。
4.4 Prefill-Decode 分离部署(PD Disaggregation)
本节为 A3 参考配置:以 200,000 token 最大序列长度服务 198K 工作负载。使用一个横跨 P0/P1 的 Prefill 引擎(TP16、PP2),以及 D0/D1 上 16 个 TP2 Decode 引擎。5.1.3 节会在同一部署上叠加 MemCache KV 池。
4.4.1 拓扑与前置条件
| 角色 | 节点 | 全局 DP | TP | PP | 放置 | 每角色设备数 |
|---|---|---|---|---|---|---|
| Prefill | P0, P1 | 1 | 16 | 2 | 每节点一个 PP stage | 32 |
| Decode | D0, D1 | 16 | 2 | 1 | 每节点八个 DP rank | 32 |
每个容器暴露设备 0-15。P0 是唯一的 Prefill API 入口;P1 运行第二个 PP stage 但不提供 API server。Decode rank 0-7 运行在 D0 上,rank 8-15 运行在 D1 上,每个节点上的 API 端口为 8000-8007。
四个节点全部使用第 3.1 节的 A3 v0.30.0rc1-a3 镜像。准备工作:
- 在四个节点上准备相同的权重与软件。在每个角色脚本中设置
MODEL_PATH与PYTHON_LIB_DIR为实际安装路径。Prefill 节点需安装fastokens以启用VLLM_USE_FASTOKENS=1。 - 验证多节点通信。在每个 Prefill 节点设置
LOCAL_IP="<PREFILL_NODE_IP>",每个 Decode 节点设置LOCAL_IP="<DECODE_NODE_IP>"为本节点 IP;NIC_NAME="<NETWORK_INTERFACE>"设为匹配的网卡,MODEL_PATH="<YOUR_MODEL_PATH>"设为权重目录。 - 预留 PP master 端口 7060、Decode DP RPC 端口 16600、API 端口、代理端口 8000,以及由拓扑推导出的 Mooncake 传输/握手端口。Prefill 与 Decode 运行在独立的节点组上。
- 保持 78 层 PP 分区
42,36在 Prefill 环境与两个角色的 connector 拓扑中一致。针对 W8A8C8 权重,两个角色均显式使用 int8 KV cache 与 int8 indexer KV cache。
4.4.2 准备脚本
首先在每个 Decode 节点准备启动脚本 launch_online_dp.py:
import argparse
import multiprocessing
import subprocess
import sys
def run_command(args, local_rank):
dp_rank = args.dp_rank_start + local_rank
devices = ",".join(str(i) for i in range(
local_rank * args.tp_size, (local_rank + 1) * args.tp_size))
subprocess.run([
"bash", args.script, devices, str(args.vllm_start_port + local_rank),
str(args.dp_size), str(dp_rank), args.dp_address,
str(args.dp_rpc_port), str(args.tp_size),
], check=True)
def main():
parser = argparse.ArgumentParser()
parser.add_argument("--dp-size", type=int, required=True)
parser.add_argument("--tp-size", type=int, required=True)
parser.add_argument("--dp-size-local", type=int, required=True)
parser.add_argument("--dp-rank-start", type=int, required=True)
parser.add_argument("--dp-address", required=True)
parser.add_argument("--dp-rpc-port", type=int, default=16600)
parser.add_argument("--vllm-start-port", type=int, default=8000)
parser.add_argument("--script", default="./run_dp_template.sh")
args = parser.parse_args()
if min(args.dp_size, args.tp_size, args.dp_size_local) <= 0:
parser.error("Parallel sizes must be positive")
if args.dp_rank_start < 0 or args.dp_rank_start + args.dp_size_local > args.dp_size:
parser.error("Local ranks must be within the global DP group")
if args.dp_size_local * args.tp_size > 16:
parser.error("This A3 configuration exposes 16 devices per node")
processes = []
for local_rank in range(args.dp_size_local):
process = multiprocessing.Process(target=run_command, args=(args, local_rank))
processes.append(process)
process.start()
for process in processes:
process.join()
return 1 if any(process.exitcode != 0 for process in processes) else 0
if __name__ == "__main__":
sys.exit(main())
该启动器按 DP rank 切分本地设备(ASCEND_RT_VISIBLE_DEVICES),为每个本地 rank 派生一个 run_dp_template.sh 子进程,并完成参数合法性校验(并行度必须为正、本地 rank 必须在全局 DP 组内、dp_size_local * tp_size 不得超过节点 16 卡上限)。
其次在每个节点准备 run_dp_template.sh。四个角色的脚本主体一致,关键差异如下:
(1)Prefill node 0:master 地址为自身 IP,node-rank 0,不带头 --headless,使用 mp 分布式执行后端与 PP2:
#!/usr/bin/env bash
LOCAL_IP="<PREFILL_NODE_IP>"
NIC_NAME="<NETWORK_INTERFACE>"
MODEL_PATH="<YOUR_MODEL_PATH>"
PYTHON_LIB_DIR=/path/to/python/lib
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=1800
export HCCL_CONNECT_TIMEOUT=1800
export ASCEND_TRANSFER_TIMEOUT=10000
NODE_P0_IP="$LOCAL_IP"
export VLLM_HOST_IP="$LOCAL_IP"
export HCCL_IF_IP="$LOCAL_IP"
export GLOO_SOCKET_IFNAME="$NIC_NAME"
export TP_SOCKET_IFNAME="$NIC_NAME"
export HCCL_SOCKET_IFNAME="$NIC_NAME"
export LD_LIBRARY_PATH="${PYTHON_LIB_DIR}:/usr/local/lib:${LD_LIBRARY_PATH}"
export HCCL_BUFFSIZE=1024
export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export TASK_QUEUE_ENABLE=1
export VLLM_USE_V2_MODEL_RUNNER=0
export VLLM_USE_FASTOKENS=1
export VLLM_PP_LAYER_PARTITION="42,36"
export ASCEND_LOCAL_COMM_RES='{"version":"1.2"}'
exec vllm serve "${MODEL_PATH}" \
--host 0.0.0.0 \
--port 8000 \
--tensor-parallel-size 16 \
--enable-expert-parallel \
--pipeline-parallel-size 2 \
--distributed-executor-backend mp \
--master-addr "$NODE_P0_IP" \
--master-port 7060 \
--nnodes 2 \
--node-rank 0 \
--enable-chunked-prefill \
--enable-prefix-caching \
--seed 1024 \
--served-model-name glm5 \
--max-model-len 200000 \
--max-num-batched-tokens 16384 \
--trust-remote-code \
--max-num-seqs 64 \
--gpu-memory-utilization 0.92 \
--async-scheduling \
--quantization ascend \
--safetensors-load-strategy 'prefetch' \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm47 \
--enforce-eager \
--kv-cache-dtype int8 \
--attention_config.indexer_kv_dtype int8 \
--additional-config '{
"enable_dsa_cp":true,
"enable_fused_mc2": 1,
"enable_flashcomm1": true
}' \
--speculative-config '{"num_speculative_tokens": 1, "method":"deepseek_mtp","enforce_eager":true}' \
--kv-transfer-config '{
"kv_connector": "MooncakeConnectorV2",
"kv_role": "kv_producer",
"kv_port": "30000",
"engine_id": "glm53-prefill",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {"dp_size": 1, "pp_size": 2, "tp_size": 16, "pp_layer_partition": "42,36"},
"decode": {"dp_size": 16, "tp_size": 2}
}
}'
(2)Prefill node 1:与 Prefill node 0 的差异为 NODE_P0_IP="<PREFILL_NODE0_IP>"(指向 P0)、--node-rank 1,并在命令末尾追加 --headless(不提供 API server),其余参数完全相同。
(3)Decode node 0 / node 1:由 launch_online_dp.py 传入 7 个位置参数 $1-$7(可见设备、API 端口、全局 DP 大小、DP rank、DP master IP、DP RPC 端口、TP 大小)。与 Prefill 的核心差异:
- 用
--data-parallel-size $3 --data-parallel-rank $4 --data-parallel-address $5 --data-parallel-rpc-port $6替代 PP 参数; - 无
--pipeline-parallel-size/--master-addr/--master-port/--nnodes/--node-rank; --tensor-parallel-size $7、--max-num-batched-tokens 256(远小于 Prefill 的 16384);- 额外开启
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}'; --additional-config改为{"recompute_scheduler_enable": true, "enable_fused_mc2": 1};- MTP 投机 token 数从 Prefill 的 1 增加到 5;
--kv-transfer-config使用kv_consumer角色、kv_port "30100"、engine_id "glm53-decode-dp'"$4"'"(按 DP rank 区分 engine 身份),拓扑声明与 Prefill 相同。
#!/usr/bin/env bash
LOCAL_IP="<DECODE_NODE_IP>"
NIC_NAME="<NETWORK_INTERFACE>"
MODEL_PATH="<YOUR_MODEL_PATH>"
PYTHON_LIB_DIR=/path/to/python/lib
# 参数 $1-$7 由 launch_online_dp.py 提供。
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=1800
export HCCL_CONNECT_TIMEOUT=1800
export ASCEND_TRANSFER_TIMEOUT=10000
export VLLM_HOST_IP="$LOCAL_IP"
export HCCL_IF_IP="$LOCAL_IP"
export GLOO_SOCKET_IFNAME="$NIC_NAME"
export TP_SOCKET_IFNAME="$NIC_NAME"
export HCCL_SOCKET_IFNAME="$NIC_NAME"
export LD_LIBRARY_PATH="${PYTHON_LIB_DIR}:/usr/local/lib:${LD_LIBRARY_PATH}"
export HCCL_BUFFSIZE=1024
export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export TASK_QUEUE_ENABLE=1
export VLLM_USE_V2_MODEL_RUNNER=0
export ASCEND_RT_VISIBLE_DEVICES=$1
export ASCEND_LOCAL_COMM_RES='{"version":"1.2"}'
exec vllm serve "${MODEL_PATH}" \
--host 0.0.0.0 \
--port $2 \
--data-parallel-size $3 \
--data-parallel-rank $4 \
--data-parallel-address $5 \
--data-parallel-rpc-port $6 \
--tensor-parallel-size $7 \
--enable-expert-parallel \
--enable-chunked-prefill \
--enable-prefix-caching \
--seed 1024 \
--served-model-name glm5 \
--max-model-len 200000 \
--max-num-batched-tokens 256 \
--trust-remote-code \
--max-num-seqs 64 \
--gpu-memory-utilization 0.92 \
--async-scheduling \
--quantization ascend \
--safetensors-load-strategy 'prefetch' \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm47 \
--kv-cache-dtype int8 \
--attention_config.indexer_kv_dtype int8 \
--additional-config '{
"recompute_scheduler_enable": true,
"enable_fused_mc2": 1
}' \
--speculative-config '{"num_speculative_tokens": 5, "method":"deepseek_mtp","enforce_eager":true}' \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--kv-transfer-config '{
"kv_connector": "MooncakeConnectorV2",
"kv_role": "kv_consumer",
"kv_port": "30100",
"engine_id": "glm53-decode-dp'"$4"'",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {"dp_size": 1, "pp_size": 2, "tp_size": 16, "pp_layer_partition": "42,36"},
"decode": {"dp_size": 16, "tp_size": 2}
}
}'
Decode node 1 与 node 0 的脚本完全一致(由启动器传入不同的 $1-$7 实现 rank/端口差异化)。
4.4.3 启动引擎
准备完成后,在每个节点上按如下命令启动:
- Prefill node 0 / node 1:
bash run_dp_template.sh - Decode node 0:
D0_IP="<DECODE_NODE0_IP>"
python launch_online_dp.py --dp-size 16 --tp-size 2 --dp-size-local 8 --dp-rank-start 0 --dp-address "$D0_IP" --dp-rpc-port 16600 --vllm-start-port 8000
- Decode node 1:
D0_IP="<DECODE_NODE0_IP>"
python launch_online_dp.py --dp-size 16 --tp-size 2 --dp-size-local 8 --dp-rank-start 8 --dp-address "$D0_IP" --dp-rpc-port 16600 --vllm-start-port 8000
4.4.4 启动 PD 负载均衡代理
启动前先替换各节点的 IP 与安装路径占位符。在 4.4.3 节启动命令时,四个命令分别在独立终端运行;保持 master 进程运行直到其他节点加入,先启动每组内的两个节点,再等待该组变为健康状态。
当 P0:8000 的 Prefill API 与全部 16 个 Decode API 均响应 GET /v1/models 后,在可访问所有 P/D API 端点的独立主机上启动 PD 负载均衡代理(使用与部署匹配的仓库版本)。代理监听 8000 端口;使用独立主机可避免与 P0:8000 及 Decode API 的 8000-8007 端口冲突。只需注册一次 P0,并注册全部 16 个 Decode 端点。P1 不是独立的 Prefill API 端点。
P0_IP="<P0_IP>"
D0_IP="<D0_IP>"
D1_IP="<D1_IP>"
python examples/disaggregated_prefill_v1/load_balance_proxy_server_example.py \
--host 0.0.0.0 --port 8000 \
--prefiller-hosts "$P0_IP" --prefiller-ports 8000 \
--decoder-hosts "$D0_IP" "$D0_IP" "$D0_IP" "$D0_IP" \
"$D0_IP" "$D0_IP" "$D0_IP" "$D0_IP" \
"$D1_IP" "$D1_IP" "$D1_IP" "$D1_IP" \
"$D1_IP" "$D1_IP" "$D1_IP" "$D1_IP" \
--decoder-ports 8000 8001 8002 8003 8004 8005 8006 8007 \
8000 8001 8002 8003 8004 8005 8006 8007
关键参数解读
- Prefill 使用 TP16/PP2 跨两个节点,
mp执行器与VLLM_PP_LAYER_PARTITION="42,36"。其 batch 预算为 16,384 token,最大序列数为 64,eager 模式运行并带 1 个 MTP token。 - Decode 使用 DP16/TP2,256 token batch 预算、64 序列、5 个 MTP token(eager draft 模型),
FULL_DECODE_ONLY图模式。recompute_scheduler_enable=true允许重计算调度。 - 两个角色都保留 chunked prefill、prefix caching、async scheduling、seed 1024、内存利用率 0.92 与 Fused MC2。Prefill 额外启用 DSA CP 与 FlashComm1。两者均使用
glm47工具/推理 parser 与 served model nameglm5。 MooncakeConnectorV2在两侧声明相同的 Prefill DP1/PP2/TP16 与 Decode DP16/TP2 拓扑。非池化基础 KV 端口为 Prefill 30000、Decode 30100;需预留派生的 worker 端口。- 示例为 Prefill 与每个 Decode 引擎分配了不同的
engine_id,避免 P 到 D 的 peer 注册冲突。
4.5 MemCache KV 缓存池部署
本节在相同的四节点 PP/PD 拓扑上叠加 MultiConnector:MooncakeConnectorV2 负责将 KV 从 Prefill 传输到 Decode,AscendStoreConnector 提供非 layerwise 的 MemCache 池化。保留 4.4 节的启动器、PP 放置与代理路由。
MultiConnector 的源码实现在 ascend_multi_connector.py,它继承上游 MultiConnector 并聚合多个子 connector;MemCache 后端实现见 memcache_backend.py,该后端要求设置 MMC_LOCAL_CONFIG_PATH 环境变量指向 memcache_hybrid 的 mmc-local.conf 配置文件(用于判断本地服务协议是否为 device_sdma 等)。
4.5.1 准备 MemCache
按 kv_cache_pool_ascend_store.md 中“场景二:MemCache 后端”完成后端搭建,包括硬件/CANN 前置条件、memfabric-hybrid 与 memcache-hybrid 安装、配置文件与元数据服务。所有 P/D 实例必须访问同一个池;connector 参数不会启动 MemCache 服务。将 MEMCACHE_ROOT 设为已安装的 memcache_hybrid 目录,PYTHON_LIB_DIR 设为每个节点上 vLLM 实际使用的 Python 库目录。
4.5.2 准备脚本
launch_online_dp.py 复用 4.4.2 节版本。池化版 run_dp_template.sh 与 4.4.2 节脚本的差异如下:
- 新增环境变量:
MEMCACHE_ROOT=/path/to/site-packages/memcache_hybrid、PYTHONHASHSEED=0、ACL_OP_INIT_MODE=1、MMC_LOCAL_CONFIG_PATH="${MEMCACHE_ROOT}/config/mmc-local.conf",并在LD_LIBRARY_PATH中追加${MEMCACHE_ROOT}/lib; - Prefill 的
--kv-transfer-config改用MultiConnector,子 connector 列表同时包含MooncakeConnectorV2与AscendStoreConnector(lookup_rpc_port:"0"、backend: "memcache"、use_layerwise: false); - 池化基础 KV 端口改为 Prefill 30000、Decode 30200。
Prefill node 0 的池化 KV 传输配置(Prefill node 1 相同,仅 NODE_P0_IP 指向 P0 且追加 --headless):
--kv-transfer-config '{
"kv_connector": "MultiConnector",
"kv_role": "kv_producer",
"kv_port": "30000",
"engine_id": "glm53-prefill",
"kv_connector_extra_config": {
"connectors":[
{
"kv_connector": "MooncakeConnectorV2",
"kv_role": "kv_producer",
"kv_port": "30000",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {"dp_size": 1, "pp_size": 2, "tp_size": 16, "pp_layer_partition": "42,36"},
"decode": { "dp_size": 16, "tp_size": 2}
}
},
{
"kv_connector": "AscendStoreConnector",
"kv_role": "kv_producer",
"kv_connector_extra_config": {
"lookup_rpc_port":"0",
"backend": "memcache",
"use_layerwise": false
}
}
]
}
}'
Decode 的池化 KV 传输配置(两个 Decode 节点相同,engine_id 通过 $4 按 DP rank 区分):
--kv-transfer-config '{
"kv_connector": "MultiConnector",
"kv_role": "kv_consumer",
"kv_port": "30200",
"engine_id": "glm53-decode-dp'"$4"'",
"kv_connector_extra_config": {
"connectors":[
{
"kv_connector": "MooncakeConnectorV2",
"kv_role": "kv_consumer",
"kv_port": "30200",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {"dp_size": 1, "pp_size": 2, "tp_size": 16, "pp_layer_partition": "42,36"},
"decode": { "dp_size": 16, "tp_size": 2}
}
},
{
"kv_connector": "AscendStoreConnector",
"kv_role": "kv_consumer",
"kv_connector_extra_config": {
"lookup_rpc_port":"0",
"backend": "memcache",
"use_layerwise": false
}
}
]
}
}'
池化配置使用 Prefill 30000、Decode 30200 作为基础 KV 端口。外层 engine_id 每个引擎唯一,并由子 connector 继承——这与示例参考中重复的 "0" ID 不同,目的是避免 Mooncake peer 身份冲突。lookup_rpc_port="0" 予以保留:Ascend Store 使用同时包含 DP rank 的 IPC 端点,且 P/D 运行在不同主机上,它不是端口零上的 TCP 监听。backend="memcache" 与 use_layerwise=false 在两侧都设置。
4.5.3 启动引擎
启动 vLLM 之前,先在全部四个节点上启动 MemCache 元数据服务并完成配置。随后按 4.4.3 节命令启动 P0、P1、D0、D1(Prefill 脚本已指定端口 8000;Decode 使用 launch_online_dp.py)。
4.5.4 启动代理并验证池化
- 在全部四个节点上启动 MemCache 元数据服务并完成配置后再启动 vLLM。
- 用 4.5.3 节命令启动 P0、P1、D0、D1。
- 等待 P0:8000 与全部 16 个 Decode API 健康后,在独立主机上启动 4.4.4 节代理(同一 Prefill 端点与 Decode 端口 8000-8007,公共端口 8000)。
- 使用 served model name
glm5向代理发送请求:
curl "http://<proxy_ip>:8000/v1/chat/completions" \
-H "Content-Type: application/json" \
-d '{
"model": "glm5",
"messages": [{"role": "user", "content": "Explain prefill and decode in an LLM."}],
"max_tokens": 128,
"temperature": 0
}'
无论哪种模式,都应检查 P/D 日志确认 KV 传输成功。对于池化模式,还需检查 MemCache 初始化,然后用一个超过单个 cache block 的 prompt 预热池,并以相同前缀重复请求。检查 Ascend Store/MemCache 的 save、lookup、load 与命中指标。注意:成功响应或本地 prefix-cache 命中本身不能证明共享池复用;只有当引擎本地缓存中没有该前缀、且发生 pool load 时才能确认池复用生效。
需要说明:这些参考配置并不构成对 A2、1M 上下文或其他并行布局的支持声明,也未对 198K 工作负载做精度或性能结论。
5 1M 上下文配置(DCP)
5.1 拓扑与前置条件
该配置使用 GLM-5.3 W8A8C8 权重,部署在四台 Atlas 800I A3 节点上,每节点 16 个逻辑 NPU 设备。全部节点使用 第 3.1 节 的 A3 镜像。最大上下文长度为 1,048,576 token(含输入与输出)。
| 角色 | 节点 | 全局 DP | TP | PP | DCP | 本地 DP rank | 每角色设备数 |
|---|---|---|---|---|---|---|---|
| Prefill | P0, P1 | 2 | 16 | 1 | 16 | 每节点 1 个 | 32 |
| Decode | D0, D1 | 4 | 8 | 1 | 8 | 每节点 2 个 | 32 |
P0 与 P1 运行 DP rank 0 和 1。D0 运行 rank 0-1,D1 运行 rank 2-3。两个角色的 Prefill 上下文并行度(PCP)均为 1。该 DCP 布局与 4.4/4.5 节的 PP2 布局相互独立。
准备工作:
- 在四个节点上准备相同权重,并验证多节点通信。
- 在每个节点分别设置
LOCAL_IP、NIC_NAME、MODEL_PATH。将启动命令中的 master 地址占位符替换为 P0 的 IP(Prefill)与 D0 的 IP(Decode)。 - 预留 DP RPC 端口 16591 与 16600、每个 Prefill 节点的 API 端口 8000、每个 Decode 节点的 API 端口 8000-8001,以及由基础端口 30000 与 30200 推导出的 Mooncake 传输端口。公共代理在独立主机上运行于端口 8000。
5.2 准备脚本
launch_online_dp.py 复用 4.4.2 节版本(每个节点一份)。run_dp_template.sh 按角色配置,核心差异集中在上下文并行与 KV 传输参数上。
(1)Prefill node 0(Prefill node 1 相同,仅 --data-parallel-rank 由启动器传入):
#!/usr/bin/env bash
LOCAL_IP="<PREFILL_NODE_IP>"
NIC_NAME="<NETWORK_INTERFACE>"
MODEL_PATH="<YOUR_MODEL_PATH>"
export HCCL_OP_EXPANSION_MODE="AIV"
export VLLM_ENGINE_READY_TIMEOUT_S=100000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=7200
export ASCEND_CONNECT_TIMEOUT=10000
export ASCEND_TRANSFER_TIMEOUT=10000
export MF_GROUP_JOIN_MAX_TIMEOUT=1200
export VLLM_HOST_IP="$LOCAL_IP"
export HCCL_IF_IP="$LOCAL_IP"
export GLOO_SOCKET_IFNAME="$NIC_NAME"
export TP_SOCKET_IFNAME="$NIC_NAME"
export HCCL_SOCKET_IFNAME="$NIC_NAME"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=400
export ACL_OP_INIT_MODE=1
export ASCEND_A3_ENABLE=1
export ASCEND_RT_VISIBLE_DEVICES="$1"
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
export VLLM_USE_V2_MODEL_RUNNER=0
exec vllm serve "$MODEL_PATH" \
--host 0.0.0.0 \
--port "$2" \
--data-parallel-size "$3" \
--data-parallel-rank "$4" \
--data-parallel-address "$5" \
--data-parallel-rpc-port "$6" \
--tensor-parallel-size "$7" \
--enable-expert-parallel \
--prefill-context-parallel-size 1 \
--decode-context-parallel-size 16 \
--cp-kv-cache-interleave-size 128 \
--speculative-config '{"num_speculative_tokens": 1, "method":"deepseek_mtp","enforce_eager":true}' \
--seed 1024 \
--served-model-name glm-5 \
--max-model-len 1048576 \
--safetensors-load-strategy 'prefetch' \
--additional-config '{
"enable_dsa_cp": true,
"enable_fused_mc2": 1,
"enable_flashcomm1": true
}' \
--max-num-batched-tokens 8192 \
--trust-remote-code \
--enable-prefix-caching \
--max-num-seqs 64 \
--quantization ascend \
--gpu-memory-utilization 0.85 \
--enforce-eager \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm47 \
--kv-cache-dtype int8 \
--attention_config.indexer_kv_dtype int8 \
--kv-transfer-config '{
"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_producer",
"kv_port": "30000",
"engine_id": "0",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {
"dp_size": 2,
"tp_size": 16
},
"decode": {
"dp_size": 4,
"tp_size": 8
}
}
}'
(2)Prefill node 1:与 node 0 命令相同(master 地址均为 P0 的 IP),由 launch_online_dp.py 以 --dp-rank-start 1 传入 rank。
(3)Decode node 0 / node 1:与 Prefill 的关键差异:
--decode-context-parallel-size 8(Prefill 为 16)、--prefill-context-parallel-size 1、--cp-kv-cache-interleave-size 128保持不变;--max-num-batched-tokens 192、--max-num-seqs 32;--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}';--speculative-config的投机 token 数改为 5;--additional-config改为{"recompute_scheduler_enable": true, "enable_mlapo": true, "enable_fused_mc2": 1};- 额外
export TASK_QUEUE_ENABLE=1; --kv-transfer-config使用kv_consumer角色、kv_port "30200"、engine_id "2"。
#!/usr/bin/env bash
LOCAL_IP="<DECODE_NODE_IP>"
NIC_NAME="<NETWORK_INTERFACE>"
MODEL_PATH="<YOUR_MODEL_PATH>"
export HCCL_OP_EXPANSION_MODE="AIV"
export VLLM_ENGINE_READY_TIMEOUT_S=100000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=7200
export ASCEND_CONNECT_TIMEOUT=10000
export ASCEND_TRANSFER_TIMEOUT=10000
export MF_GROUP_JOIN_MAX_TIMEOUT=1200
export VLLM_HOST_IP="$LOCAL_IP"
export HCCL_IF_IP="$LOCAL_IP"
export GLOO_SOCKET_IFNAME="$NIC_NAME"
export TP_SOCKET_IFNAME="$NIC_NAME"
export HCCL_SOCKET_IFNAME="$NIC_NAME"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=400
export ACL_OP_INIT_MODE=1
export ASCEND_A3_ENABLE=1
export TASK_QUEUE_ENABLE=1
export ASCEND_RT_VISIBLE_DEVICES="$1"
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
export VLLM_USE_V2_MODEL_RUNNER=0
exec vllm serve "$MODEL_PATH" \
--host 0.0.0.0 \
--port "$2" \
--data-parallel-size "$3" \
--data-parallel-rank "$4" \
--data-parallel-address "$5" \
--data-parallel-rpc-port "$6" \
--tensor-parallel-size "$7" \
--enable-expert-parallel \
--prefill-context-parallel-size 1 \
--decode-context-parallel-size 8 \
--cp-kv-cache-interleave-size 128 \
--seed 1024 \
--served-model-name glm-5 \
--max-model-len 1048576 \
--safetensors-load-strategy 'prefetch' \
--max-num-batched-tokens 192 \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--speculative-config '{"num_speculative_tokens": 5, "method":"deepseek_mtp","enforce_eager":true}' \
--additional-config '{
"recompute_scheduler_enable": true,
"enable_mlapo": true,
"enable_fused_mc2": 1
}' \
--trust-remote-code \
--max-num-seqs 32 \
--gpu-memory-utilization 0.90 \
--async-scheduling \
--quantization ascend \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm47 \
--kv-cache-dtype int8 \
--attention_config.indexer_kv_dtype int8 \
--kv-transfer-config '{
"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_consumer",
"kv_port": "30200",
"engine_id": "2",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {
"dp_size": 2,
"tp_size": 16
},
"decode": {
"dp_size": 4,
"tp_size": 8
}
}
}'
5.3 启动引擎
在两个脚本所在目录下执行以下命令。两条 Prefill 命令使用相同的 P0 master 地址,两条 Decode 命令使用相同的 D0 master 地址。
- Prefill node 0:
P0_IP="<PREFILL_NODE0_IP>"
python launch_online_dp.py --dp-size 2 --tp-size 16 --dp-size-local 1 --dp-rank-start 0 --dp-address "$P0_IP" --dp-rpc-port 16591 --vllm-start-port 8000
- Prefill node 1:
P0_IP="<PREFILL_NODE0_IP>"
python launch_online_dp.py --dp-size 2 --tp-size 16 --dp-size-local 1 --dp-rank-start 1 --dp-address "$P0_IP" --dp-rpc-port 16591 --vllm-start-port 8000
- Decode node 0:
D0_IP="<DECODE_NODE0_IP>"
python launch_online_dp.py --dp-size 4 --tp-size 8 --dp-size-local 2 --dp-rank-start 0 --dp-address "$D0_IP" --dp-rpc-port 16600 --vllm-start-port 8000
- Decode node 1:
D0_IP="<DECODE_NODE0_IP>"
python launch_online_dp.py --dp-size 4 --tp-size 8 --dp-size-local 2 --dp-rank-start 2 --dp-address "$D0_IP" --dp-rpc-port 16600 --vllm-start-port 8000
5.4 启动代理
全部 6 个 API 健康后,在独立主机上启动代理:
P0_IP="<P0_IP>"
P1_IP="<P1_IP>"
D0_IP="<D0_IP>"
D1_IP="<D1_IP>"
python examples/disaggregated_prefill_v1/load_balance_proxy_server_example.py \
--host 0.0.0.0 --port 8000 \
--prefiller-hosts "$P0_IP" "$P1_IP" --prefiller-ports 8000 8000 \
--decoder-hosts "$D0_IP" "$D0_IP" "$D1_IP" "$D1_IP" \
--decoder-ports 8000 8001 8000 8001
向 http://<PROXY_IP>:8000 发送请求,使用 served model name glm-5。
关键参数解读
- 启动器向
run_dp_template.sh传递:$1= 可见设备,$2= API 端口,$3= 全局 DP 大小,$4= DP rank,$5= DP master IP,$6= DP RPC 端口,$7= TP 大小。 --decode-context-parallel-size:Prefill 为 16,Decode 为 8;--prefill-context-parallel-size保持 1;--cp-kv-cache-interleave-size两个角色均为 128。--max-num-batched-tokens:Prefill 为 8192,Decode 为 192。--max-num-seqs:Prefill 为 64,Decode 为 32。这些是调度器限制;1M 工作负载应从单并发请求开始,再根据可用 KV cache 容量逐步提升并发。- MTP 使用
deepseek_mtp+ eager draft:Prefill 1 个投机 token,Decode 5 个。Decode 使用FULL_DECODE_ONLY图模式。 MooncakeConnectorV1在 Prefill 侧使用kv_producer、Decode 侧使用kv_consumer,两侧声明相同的prefill: DP2/TP16与decode: DP4/TP8拓扑。本示例未启用 MemCache 池化。- 两个角色均使用 int8 KV cache 与 int8 indexer KV cache。Prefill 启用 DSA CP、Fused MC2 与 FlashComm1;Decode 启用 Fused MC2、MLAPO 与重计算调度器(详见性能调优章节)。
6 功能验证
服务器启动后,用输入 prompt 查询模型:
curl http://<node0_ip>:<port>/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "glm-5",
"messages":[
{
"role": "user",
"content": "Who are you?"
}
],
"temperature": 0
}'
预期输出(节选):
"message":{"role":"assistant","content":"I'm GLM, a large language model developed by Z.ai. I'm designed to understand and generate human-like text based on the conversations we have together. My role involves processing diverse text data to help answer questions and provide assistance across many topics.\n\nI don't store your personal data, and I'm continually learning to improve my capabilities. Is there something specific I can help you with today?","refusal":null,"annotations":null,"audio":null,"function_call":...}
7 精度评估
7.1 使用 AISBench
详细用法参见 AISBench 使用指南。以下为 GLM-5.3-w8a8c8 在 Prefill-Decode 分离部署下的精度结果:
| dataset | model | hardware | deployment | metric | mode | vllm-api-general-chat |
|---|---|---|---|---|---|---|
| GPQA Diamond | GLM-5.3-w8a8c8 | A3 | PD disaggregation | accuracy | gen | 91.92 |
| GPQA Diamond | GLM-5.3-w8a8c8 | A2 | PD disaggregation | accuracy | gen | 89.39 |
7.2 使用 Language Model Evaluation Harness
尚未测试。
8 性能评估
- 使用 AISBench 进行性能评估:参见 AISBench 性能评估 的“执行性能评估”一节。
- 使用 vLLM 官方 Benchmark:参见 vLLM 官方文档的 benchmarking 章节(可按需查阅已安装 vLLM 版本的对应文档)。
9 性能调优
以下 A3 W8A8C8 设置汇总了第 4.4、4.5 与第 5 节部署脚本中的配置。全局 DP 包含某一角色的全部节点;本地 DP 是单个节点上的 rank 数。每个角色使用 32 个逻辑 NPU 设备。
9.1 详细节点配置
| 场景 | 角色 | TP | 全局 DP | 本地 DP | PP | DCP | Max Num Seqs | Max Num Batched Tokens | Max Model Len | MTP Spec Num |
|---|---|---|---|---|---|---|---|---|---|---|
| 198K PD,含/不含池化 | Prefill | 16 | 1 | 1 | 2 | 1 | 64 | 16384 | 200000 | 1 |
| 198K PD,含/不含池化 | Decode | 2 | 16 | 8 | 1 | 1 | 64 | 256 | 200000 | 5 |
| 1M PD(A3) | Prefill | 16 | 2 | 1 | 1 | 16 | 64 | 8192 | 1048576 | 1 |
| 1M PD(A3) | Decode | 8 | 4 | 2 | 1 | 8 | 32 | 192 | 1048576 | 5 |
9.2 性能工作负载
0.30 RC 性能参考覆盖以下工作负载。长度使用 input/output 记号。1M A3 场景使用单并发请求;输出 token 需预留于 1,048,576 token 的上下文限制之内。
| 场景 | 输入 / 输出 | 前缀缓存命中率 | 部署参考 |
|---|---|---|---|
| Prefill-only | 16K / 1, 128K / 1 | 0% | 第 4.4 节 |
| Decode-only | 16K / 1K, 128K / 1K | 100% | 第 4.4 节 |
| 完整 PD | 16K / 1K | 0% | 第 4.4 节 |
| 完整 PD,1M 上下文(A3) | 约 1M / 1K | 0% | 第 5 节 |
| 池化 | 128K / 1K | 90%,32 个不同前缀 | 第 4.5 节 |
| 池化 | 40K-80K / 2.5K | 重复前缀 | 第 4.5 节 |
9.3 需显式启用的优化
将启用的选项合并到同一个 --additional-config JSON 对象中(如部署脚本所示)。
| 优化 | 场景 | 启用方式 | 目的与约束 |
|---|---|---|---|
| FlashComm1 | A3 Prefill | "enable_flashcomm1": true |
降低 TP 通信开销;Decode 参考配置保持关闭。 |
| Fused MC2 | A3 PD | "enable_fused_mc2": 1 |
融合 MoE 的 dispatch、计算与 combine。不要与 shared-expert 多流重叠同时使用。 |
| DSA CP | A3 Prefill | "enable_dsa_cp": true |
分散长上下文注意力计算;使用各场景指定的布局。 |
| DCP | 1M PD(A3) | Prefill --decode-context-parallel-size 16,Decode 8 |
在 TP 组内分片 KV cache。两个角色保持 PCP 为 1、KV interleave 为 128。 |
| Int8 attention KV cache | A3 W8A8C8 | --kv-cache-dtype int8 |
降低 attention KV cache 内存。 |
| Int8 indexer KV cache | A3 W8A8C8 | --attention_config.indexer_kv_dtype int8 |
独立于 attention cache 量化 indexer 缓存。 |
| MLAPO | A3 1M Decode | "enable_mlapo": true |
融合 MLA 预处理;需计入其内存需求。 |
| 重计算调度器 | A3 Decode | "recompute_scheduler_enable": true |
Decode KV cache 容量不足时启用 Prefill 侧重计算。 |
| Decode 图 | A3 Decode | --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' |
捕获 Decode 执行;参考 Prefill 使用 eager 模式。 |
| KV 池化 | 重复前缀 PD | 第 4.5 节 Ascend Store/MemCache 配置 | 跨请求与跨引擎复用 KV;在后端指标中确认池命中。 |
以上参数在源码中均有对应实现与校验逻辑:enable_dsa_cp、enable_fused_mc2、multistream_overlap_shared_expert、enable_mlapo、fuse_muls_add、recompute_scheduler_enable 等字段定义于 ascend_config.py 的 additional_config 默认值清单,并在 derive_and_validate 中完成互斥校验(如 Fused MC2 与 multistream 重叠的强制回退、MiniMax M3 对 enable_fused_mc2=1 的限制等)。--attention_config.indexer_kv_dtype 在 indexer.py 中被读取,用于确定 Indexer 稀疏层 KV cache 的量化 dtype 与配套 scale 缓存类型。
10 FAQ
Q:如何为 GLM-5.3 启用函数调用?
A:在 vLLM 启动命令中添加以下配置:
--tool-call-parser glm47 \
--reasoning-parser glm47 \
--enable-auto-tool-choice \
Q:GLM-5.3 是否支持 enable_thinking: false?
A:不支持。GLM-5.3 的 chat template 中没有 thinking 开关,推理行为始终开启。vllm-ascend 通过 patch_glm53_reasoning.py 对上游 Glm47MoeParser 做补丁处理:当检测到 GLM-5.3 模板(包含 <a href="https://link.gitcode.com/i/8d10ebd0922ac956a89a2386e8cc1635" target="_blank">gMASK]<sop>、Reasoning Effort:、<tool_call> 等特征且无 enable_thinking)时,即使调用方传入 enable_thinking/thinking=False 也会被忽略,并告警“reasoning is always on and disabling extraction would leak it into the content”,防止推理内容泄漏到正文中。该补丁同时被注册在 [patch/init.py 中随 vllm-ascend 导入生效。
结语
从 2 节点/4 节点的 DP+TP+EP 多机部署,到 198K 的 Prefill-Decode 分离,再到 MemCache KV 池化与 1M 上下文的 DCP 布局,GLM-5.3 W8A8C8 在 vllm-ascend 上的部署路径已经高度工程化。部署时建议按“网络通信验证 → 单角色脚本逐步启动 → API 健康检查 → 代理聚合 → 精度/性能压测”的顺序推进,并始终以第 9.3 节的显式优化清单为准绳,避免 Fused MC2 与 multistream 重叠等互斥配置同时开启。遇到问题时可查阅 公共 FAQ 与上文各节对应的源码实现(vllm_ascend/ascend_config.py、vllm_ascend/patch/platform/patch_glm53_reasoning.py、vllm_ascend/distributed/kv_transfer/)定位根因。