HybridFlow(verl)昇腾 NPU 性能调优指南:融合算子、并行策略与推理训练全栈优化
HybridFlow(verl)昇腾 NPU 性能调优指南:融合算子、并行策略与推理训练全栈优化
本指南以 perf_tuning_on_ascend.rst 为骨架,系统讲解在昇腾(Ascend)NPU 上运行 verl/HybridFlow 强化学习后训练任务时的性能调优手段,涵盖融合算子(MC2、RotaryMul、RMSNorm、Swiglu、GroupMatMul)、昇腾通用环境配置、推理阶段(Chunked Prefill、ACL Graph)与训练阶段(FSDP / Megatron 并行策略、分布式优化器)的调优实践。读完本文,你将掌握在昇腾设备上对 verl 的 actor/rollout 全链路进行针对性性能优化的完整方法,并了解其背后的源码实现依据。
一、昇腾性能调优概览:在通用调优之上叠加 NPU 特有手段
verl 官方在 docs/perf/perf_tuning.rst 中介绍的性能调优方法(如 batch size 与序列长度选择、并行度设置、通信优化等)在昇腾设备上同样适用。但昇腾 NPU 的算子库(CANN / torch_npu)与 CUDA 生态存在差异,需要额外的针对性手段才能充分释放硬件算力。
本文重点介绍的昇腾特有调优方向包括:
- 融合算子优化:通过数学等价替换将多个算子融合为一个算子,减少冗余计算与算子下发次数;
- 特定硬件配置:如算子下发队列(task queue)优化、通信算法编排展开位置选择;
- 昇腾亲和特性:如 MindSpeed 中集成的 Flash Attention、RotaryMul 融合等,以及 vLLM V1 引擎下的 Chunked Prefill 与 ACL Graph。
下文将按照"融合算子 → 通用配置 → 推理调优 → 训练调优"的顺序逐一展开。
二、融合算子优化:从数学等价替换到源码级落地
2.1 融合算子的优化原理
融合算子的核心思想是:通过数学意义上的等价替换,将多个算子融为一个算子的计算。这样做有两方面收益:
- 减少冗余计算:原本需要多次读写中间结果的中间张量可以被省略,直接在片上完成整段计算;
- 减少下发次数:每次算子下发都需要 Host 与 Device 之间进行交互,融合后算子数量减少,下发开销随之降低。
在 verl 中,这些融合算子已针对 Qwen2、Qwen3 系列模型在 npu_patch.py 中完成替换。verl 当前使用的全量融合算子实现位于 verl/models/transformers/npu_patch.py,下面结合源码逐一分析各典型融合算子。
2.2 典型 NPU 融合算子详解
MC2:矩阵计算与通信融合算子
MC2 是 CANN 中一系列计算通信融合算子的统称。它将原本串行的通信操作(如 allreduce)和计算操作(如 matmul)融合在一起,通过内部的切分和流水线并行执行来优化性能——典型场景即张量并行(TP)中的 RowParallelLinear:原本需要先完成局部 matmul 再跨卡 allreduce,现在两者合并为一个算子。
在 vllm-ascend 中,可通过指定环境变量使能:
export VLLM_ASCEND_ENABLE_MATMUL_ALLREDUCE=1
开启后,前向计算中的 RowParallelLinear 会使用 torch_npu.npu_mm_all_reduce_base,将分离的 matmul 和 allreduce 合并为一个融合算子执行。
RotaryMul / RotaryMulGrad:旋转位置编码融合
torch_npu 接口为 torch_npu.npu_rotary_mul(x, r1, r2),将 RoPE 计算中原本需要多个 element-wise 操作完成的部分合并为一次调用。参数说明:
x:q、k 张量,要求输入为 4 维,一般为[B, N, S, D]或[B, S, N, D]或[S, B, N, D];r1:cos 值,shape 要求输入为 4 维,一般为[1, 1, S, D]或[1, S, 1, D]或[S, 1, 1, D];r2:sin 值,shape 要求输入为 4 维,一般为[1, 1, S, D]或[1, S, 1, D]或[S, 1, 1, D]。
在 verl 源码中,apply_rotary_pos_emb_npu 即用该接口替换了原始 RoPE 实现:
def apply_rotary_pos_emb_npu(q, k, cos, sin, position_ids=None, unsqueeze_dim=1):
cos = cos.unsqueeze(unsqueeze_dim)
sin = sin.unsqueeze(unsqueeze_dim)
q_embed = torch_npu.npu_rotary_mul(q, cos, sin)
k_embed = torch_npu.npu_rotary_mul(k, cos, sin)
return q_embed.to(q.dtype), k_embed.to(k.dtype)
值得注意的是,Qwen3-Next / Qwen3.5 系列支持部分旋转(GQA 下的线性注意力)结构,其 RoPE 只作用于头部子集,因此源码中专门实现了 qwen3_next_apply_rotary_pos_emb_npu:先按 rotary_dim 将 q/k 切成旋转部分与直通部分,仅对旋转部分调用 npu_rotary_mul,再拼接回完整张量。
RmsNorm / RmsNormGrad:RMS 归一化融合
torch_npu 接口为 torch_npu.npu_rms_norm(self, gamma, epsilon=1e-06) -> (Tensor, Tensor)。参数说明:
self:Tensor 类型,shape 支持 1-8 维;gamma:Tensor 类型,通常为 weight,shape 要求与self的后几维保持一致;epsilon:Float 数据类型,用于防止除 0 错误。
输出说明:
- 第 1 个输出为 Tensor,计算公式的最终输出 y;
- 第 2 个输出为 Tensor,
rms_norm的中间结果rstd,用于反向计算(避免前向/反向重复计算中间量)。
verl 源码中 rms_norm_forward_npu 的实现为:
def rms_norm_forward_npu(self, x):
if x.dtype != self.weight.dtype:
x = x.to(self.weight.dtype)
return torch_npu.npu_rms_norm(x, self.weight, epsilon=self.variance_epsilon)[0]
此外,对于 Qwen3-Next / Qwen3.5 的 Gated RMSNorm(带门控的归一化),源码还实现了 qwen3_next_rms_norm_forward_gated_npu,在 float32 精度下完成归一化并乘以 SiLU 门控。
Swiglu:门控激活融合
torch_npu 接口为 torch_npu.npu_swiglu(Tensor self, int dim=-1) -> (Tensor)。参数说明:
self:Tensor 类型,shape 支持 1-8 维;dim:Int 类型,默认为 -1。
输出说明:输出为 Tensor,计算公式的最终输出 y,即 SwiGLU 激活结果。
verl 源码中 silu_forward_npu 先拼接 gate_proj 与 up_proj 的输出,再一次性完成 SwiGLU 激活:
def silu_forward_npu(self, hidden_state):
gate_up = torch.cat((self.gate_proj(hidden_state), self.up_proj(hidden_state)), dim=-1)
return self.down_proj(torch_npu.npu_swiglu(gate_up, dim=-1))
在 MoE 场景下,NPUGmmFunction 的 MoE 前向还会将 GroupMatMul 结果直接送入 npu_swiglu,进一步压缩中间张量的显存占用与读写开销。
GroupMatMul:分组矩阵乘
函数原型如下,用于 MoE 中按专家分组的矩阵乘法,支持量化(antiquant、per-token scale)、分组列表、激活量化等多种扩展参数:
npu_grouped_matmul(
x,
weight,
*,
bias=None,
scale=None,
offset=None,
antiquant_scale=None,
antiquant_offset=None,
per_token_scale=None,
group_list=None,
activation_input=None,
activation_quant_scale=None,
activation_quant_offset=None,
split_item=0, group_type=None,
group_list_type=0,
act_type=0,
output_dtype=None,
tuning_config=None
) -> List[Tensor]
verl 通过自定义 autograd 函数 NPUGmmFunction 封装该接口:前向以 split_item=2, group_type=0 完成 (tokens_num * top_k, hidden_size) 输入与 (n_experts, hidden_size, intermediate_size) 专家权重的分组乘;反向分别对 grad_output 与转置权重计算 dx(split_item=2)、对输入与梯度计算 dw(split_item=3, group_type=2)。group_list_type=1 表示 group_list 为每个专家的直接 token 计数(type 0 则为累计和)。
配合 MoE 路径上的 torch_npu.npu_moe_token_permute / torch_npu.npu_moe_token_unpermute(见 NPUQwen3VLMoeTextExperts 与 qwen3_5_moe_experts_forward_npu),专家 token 重排与分组矩阵乘被完整流水线化,大幅降低 MoE 层的访存与调度开销。
2.3 Patch 机制:如何自动生效
npu_patch.py 中定义了 NPU_PATCHES 字典,覆盖 qwen2、qwen2_5_vl、qwen3、qwen3_moe、qwen3_vl、qwen3_vl_moe、qwen3_next、qwen3_5、qwen3_5_moe 共 9 个模型系列,每个系列对应一个 patch 函数,例如 _patch_qwen3() 会替换 Qwen3RMSNorm.forward、Qwen3MLP.forward 与 apply_rotary_pos_emb。
入口函数 apply_npu_patches 会遍历该字典逐个尝试应用 patch:模型在 transformers 中不可用时跳过(ImportError),其他异常记录 warning,成功则打印日志。该函数由 verl/workers/engine/fsdp/utils.py 中的 apply_npu_fsdp_patches 在检测到 NPU 可用时自动调用(注意:若配置了 use_liger 则跳过,避免与 Liger Kernel 的优化实现冲突)。
2.4 FSDP 后端的融合算子使用方法
在 verl/models/transformers/npu_patch.py 中,可用的融合算子已通过 patch 形式替换,无需进行任何额外操作即可默认使用。只要在 NPU 上以 FSDP 后端启动 verl,apply_npu_fsdp_patches 就会自动完成全部替换。
2.5 Megatron 后端的融合算子使用方法
Megatron 后端的融合算子集成在 MindSpeed 中,需要通过 +actor_rollout_ref.actor.megatron.override_transformer_config.xxx=True 形式显式开启。注意,FSDP 的 patch 机制与 Megatron 的 MindSpeed 机制相互独立,二者按后端分别配置。具体参数如下:
- Flash Attention(必须开启)
+actor_rollout_ref.actor.megatron.override_transformer_config.use_flash_attn=True
- RotaryMul
+actor_rollout_ref.actor.megatron.override_transformer_config.apply_rope_fusion=True
+actor_rollout_ref.actor.megatron.override_transformer_config.use_fused_rotary_pos_emb=True
- RMSNorm
+actor_rollout_ref.actor.megatron.override_transformer_config.use_fused_rmsnorm=True
- GroupMatMul(MoE 分组矩阵乘)
+actor_rollout_ref.actor.megatron.override_transformer_config.moe_grouped_gemm=True
- Swiglu
+actor_rollout_ref.actor.megatron.override_transformer_config.use_fused_swiglu=True
- Permute/Unpermute(MoE 专家 token 重排融合)
+actor_rollout_ref.actor.megatron.override_transformer_config.fused_permute_unpermute=True
- MC2(计算通信融合)
+actor_rollout_ref.actor.megatron.override_transformer_config.use_ascend_mc2=True
从源码看,verl 在 verl/models/mcore/config_converter.py 中为各 MoE 模型转换器已经默认设置了部分融合开关:例如 hf_to_mcore_config_qwen2moe、hf_to_mcore_config_mixtral、hf_to_mcore_config_qwen3moe 均默认 moe_grouped_gemm=True,Mixtral 转换器还默认 apply_rope_fusion=True(见 config_converter.py 与 config_converter.py)。上述 override_transformer_config 参数会作为覆盖项(kwargs)合并进最终 TransformerConfig(config_converter.py),因此用户可通过命令行按需覆盖默认值。
在官方 NPU 示例脚本(如 grpo_30b_a3b_base_math_megatron_96_32_mis.sh)中可以同时看到 apply_rope_fusion=True 与 moe_grouped_gemm=True 的典型组合用法;而 geo3k_qwen3vl_30b_megatron_6_2_npu_async.sh 中则显式关闭 apply_rope_fusion,说明该开关需要与具体模型结构(是否支持 rope 融合实现)匹配,实际使用时应以目标模型的 MindSpeed 支持情况为准。
三、昇腾通用配置:面向全链路的硬件级调优
3.1 算子下发队列优化:TASK_QUEUE_ENABLE
通过环境变量 TASK_QUEUE_ENABLE 可配置 task_queue 算子下发队列优化等级,默认为 Level 1 优化。该配置可以减少 Host 下发时间,可用于缓解由下发导致的整体 free(空闲)过大问题。支持三个等级:
- Level 0:不开启下发流水优化。
- Level 1:将算子下发任务分为两段,一部分任务(主要是 aclnn 算子的调用)放在新增的二级流水上,一、二级流水通过算子队列传递任务,相互并行,通过部分掩盖减少整体的下发耗时,提升端到端性能。
- Level 2:基于 Level 1 的优化进一步平衡一、二级流水的任务负载,主要是将 workspace 相关任务迁移至二级流水,掩盖效果更好,性能收益更大。该配置仅在二进制场景生效,建议配置值为 Level 2 优化。
配置方式:
export TASK_QUEUE_ENABLE=1 # 或 0 / 2
3.2 通信算法编排展开:HCCL_OP_EXPANSION_MODE
使用环境变量 HCCL_OP_EXPANSION_MODE=AIV 可配置通信算法的编排展开位置,即通信算法(如 allreduce、allgather 等)的调度逻辑在哪个执行单元上展开与调度。支持如下取值:
- AI_CPU:通信算法的编排展开位置在 Device 侧的 AI CPU,Device 侧根据硬件型号自动选择相应的调度器;
- AIV:通信算法的编排展开位置在 Device 侧的 Vector Core,执行也在 Vector Core;
- HOST:通信算法的编排展开位置为 Host 侧 CPU,Device 侧根据硬件型号自动选择相应的调度器;
- HOST_TS:通信算法的编排展开位置为 Host 侧 CPU,Host 向 Device 的 Task Scheduler 下发任务,Device 的 Task Scheduler 进行任务调度执行。
不同取值对通信链路的时延与 Device 资源占用有直接影响:AI_CPU / AIV 将编排逻辑下沉到 Device 侧,可减少 Host-Device 交互;HOST / HOST_TS 则由 Host 侧承担编排,Device 侧资源占用更小。实际调优时应结合通信占比与 Device 负载观察选择,通常大规模并行(高通信占比)场景建议优先尝试 AIV。
四、推理阶段调优(Rollout 侧)
4.1 Chunked Prefill in V1
verl 的 vLLM 引擎当前版本已默认启用 VLLM V1 引擎。在 V1 下,可通过以下配置启用 Chunked Prefill(分块预填充),将长序列的 prefill 拆分为多个 chunk,与 decode 阶段交错执行,从而显著提升吞吐:
actor_rollout_ref.rollout.enable_chunked_prefill=True
从配置与实现看,verl/workers/config/rollout.py 中 enable_chunked_prefill 默认值为 True(当前仓库默认开启),该值会被透传给 vllm_async_server.py 中的 AsyncLLM 引擎参数。源码同时对关闭 chunked prefill 的场景做了约束检查(vllm_async_server.py):若 enable_chunked_prefill=False,则要求 max_num_batched_tokens >= max_model_len,否则会触发告警提示配置不合理。
在官方 NPU 示例中,dapo_30b_a3b_math_fsdp_npu.sh 等脚本均显式设置 actor_rollout_ref.rollout.enable_chunked_prefill=True,可作为昇腾上启用该特性的参考模板。
4.2 Graph Mode:ACL Graph
与 CUDA Graph 类似,NPU 通过以下配置启用 ACL Graph,将多次算子的固定计算图捕获后整体回放,减少逐算子下发与调度开销:
actor_rollout_ref.rollout.enforce_eager=False
即关闭 eager 模式后,引擎会自动走图模式路径。verl/workers/config/rollout.py 中 enforce_eager 默认值为 False,该值会映射到 vLLM 的 enforce_eager 参数(vllm_async_server.py)与 sglang 的 disable_cuda_graph 参数(async_sglang_server.py)。
注意:ACL Graph 与
taskqueue Level 2原理冲突,二者无法同时开启。如果已经通过TASK_QUEUE_ENABLE=2启用了二级下发流水,则不应再启用 Graph Mode,否则会产生冲突;反之亦然。
五、训练阶段调优(Actor / Ref 侧)
5.1 FSDP 分片策略选择
FSDP 在 verl 中通过 actor_rollout_ref.actor.fsdp_config 下的参数控制分片策略,常见策略与说明如下:
| FSDP 策略 | 说明 |
|---|---|
/(默认) |
仅切分优化器(Zero-1) |
SHARD_GRAD_OP |
切分梯度和优化器(Zero-2) |
HYBRID_SHARD |
切分权重、梯度和优化器(Zero-3) |
2D device_mesh + HYBRID_SHARD |
又称 HSDP(FSDP+DDP)。例如 device_mesh=[2,8],每 8 个 rank 为一个 FSDP 组,组内进行 FSDP 切分,共有两个组,组间进行 DDP,通过 allreduce 同步梯度 |
2D device_mesh + HYBRID_SHARD_ZERO2 |
HSDP 的 Zero-2 版本 |
NO_SHARD |
DDP |
关于实现细节,有两点值得注意:
-
FSDP 不支持 Zero-1:verl 会根据卡数和
actor_rollout_ref.actor.fsdp_config.fsdp_size来决定 device mesh 的取值,默认使用 Zero-3 进行切分。从源码看,verl/workers/engine/fsdp/utils.py 中的create_device_mesh(world_size, fsdp_size)决定 mesh 形态:当fsdp_size < 0或fsdp_size >= world_size时创建一维["fsdp"]mesh;否则创建二维["ddp", "fsdp"]mesh,与文档中"2D device_mesh + HYBRID_SHARD"的说明一一对应。 -
小模型可用 Zero-2 提速:如果模型较小(建议小于 7B 时),可以通过控制参数
actor_rollout_ref.actor.fsdp_config.reshard_after_forward=True在 FSDP/FSDP2 上使用 Zero-2 来优化性能。其原理是前向结束后不立即释放(reshard)全量权重,从而减少反复 all-gather 的通信开销。当前仓库 fsdp.yaml 中reshard_after_forward默认即为true(FSDP1 下对应ShardingStrategy.SHARD_GRAD_OP);FSDP2 则通过 set_reshard_after_forward 在运行时调整该参数(该函数同时解决了 torch 2.8.0 之前缺少对应 API 的兼容问题)。NPU 示例脚本 geo3k_qwen3vl_8b_fsdp2_16_16_npu.sh 中对 actor 与 ref 均显式设置了reshard_after_forward=True。
5.2 Megatron 并行策略:TP / PP / CP / SP / EP / ETP
在模型较大时,使用 Megatron 作为训练后端可以更灵活地进行性能调优。verl 文档给出的并行度选择决策逻辑如下:
- 当 DP 并行显存无法容纳模型时,优先开启 TP 来切分模型权重;
- 如果模型仍然过大,再开启 PP 来进一步切分;
- 如果序列过长导致激活太大,则可以开启 CP 和 SP 来进行优化;
- 在 MoE 模型中则可以额外开启 EP 来控制对专家的切分;
- 如果专家过小,为了避免将权重切得过于细碎,可以开启 ETP 来避免 MoE 部分的 TP 切分,而将多个完整的专家分布到 DP 和 TP 上。
其中 TP、PP、EP、ETP 与 Megatron 的常规使用方式一致;CP 和 SP 在 NPU 上通过 MindSpeed 开启,配置方式如下:
- SP(Sequence Parallel):在 Tensor Parallel 的基础上进一步提高计算效率,通过将输入数据的序列维度进行切分实现并行计算。在 NPU 上通过 MindSpeed 调用:
actor_rollout_ref.actor.megatron.override_transformer_config.sequence_parallel=True
- CP(Context Parallel):在多个 GPU/NPU 上并行处理神经网络激活值,通过在序列维度上对输入张量进行划分实现。在 NPU 上通过 MindSpeed 调用(两个参数必须同时添加):
actor_rollout_ref.actor.megatron.context_parallel_size
actor_rollout_ref.actor.megatron.override_transformer_config.context_parallel_size
其中第一个参数用于通知 verl 框架参与 CP 的卡数(影响通信组构建与数据切分),第二个参数用于向 MindSpeed 的 TransformerConfig 下发 CP 配置,二者缺一不可。
5.3 Megatron Distributed Optimizer:分布式优化器
在面对较大尺寸模型时,通常需要将优化器分片到一个 DP 域内的每张卡上来节省显存。Megatron 后端下在 NPU 上开启分布式优化器:
+actor_rollout_ref.actor.megatron.override_transformer_config.use_distributed_optimizer=True
该开关在 verl 侧的默认配置可见 verl/trainer/config/engine/megatron.yaml(当前仓库默认 use_distributed_optimizer: True),并贯穿到 verl/utils/megatron_utils.py 中的 DDP 配置构建(ddp_config.use_distributed_optimizer = True)以及 verl/utils/megatron/optimizer.py 的优化器封装。开启后,优化器状态(动量、方差等)按 DP 域切分存储,单卡显存占用显著下降,代价是每步更新前需要额外的通信(gather 完整梯度后再分片更新)。该配置还与检查点管理联动:由于分布式优化器保存/加载的是分片后的优化器状态,megatron_checkpoint_manager.py 会依据 use_distributed_optimizer 选择不同的优化器状态存取路径,因此在切换该开关后如需加载旧检查点,应确认检查点中优化器状态的保存格式一致。
六、调优实战建议与参考资源
6.1 推荐的调优排查顺序
综合全文内容,在昇腾 NPU 上运行 verl 任务时,建议按如下顺序排查性能瓶颈:
- 确认融合算子已生效:FSDP 后端检查日志中的 "Applied NPU patches"(npu_patch.py);Megatron 后端逐一核对 2.5 节的 7 个开关,尤其确认
use_flash_attn=True; - 检查 Host 下发是否成为瓶颈:若观测到大量 free 空闲时间,配置
TASK_QUEUE_ENABLE=1(默认)或二进制场景下尝试2; - Rollout 侧:确认 V1 引擎下
enable_chunked_prefill=True(默认已开启);若推理 shape 固定且下发开销大,可启用 ACL Graph(注意与 taskqueue Level 2 冲突); - 训练侧:根据模型规模选择 FSDP 分片策略(小模型 Zero-2 / 大模型 Zero-3 + 必要时 HSDP),大模型换用 Megatron 并按显存瓶颈依次开启 TP → PP → CP/SP → EP/ETP,显存仍紧张时开启分布式优化器;
- 通信侧:结合
HCCL_OP_EXPANSION_MODE的取值调整通信编排位置,观察端到端吞吐变化。
6.2 可复用的 NPU 参考脚本
以下仓库内脚本包含了上述参数的完整组合用法,可作为昇腾调优配置的起点:
- FSDP 后端:geo3k_qwen3vl_8b_fsdp2_16_16_npu.sh(含
reshard_after_forward=True、chunked prefill 等) - Megatron 后端:grpo_30b_a3b_base_math_megatron_96_32_mis.sh(含
apply_rope_fusion=True、moe_grouped_gemm=True) - 全异步策略:dapo_30b_a3b_math_fsdp_npu.sh
- 昇腾专项测试脚本:tests/special_npu 目录下的 nightly CI 与 quick start 脚本
此外,docs/ascend_tutorial/zh/dev_guide/performance 目录下还有 ascend_performance_analysis_guide.md 与 ascend_profiling.rst,分别面向性能分析方法论与 Profiling 工具使用,可与本文形成完整闭环。
七、总结
昇腾 NPU 上的 verl 性能调优 = 通用 RL 训练调优方法(见 docs/perf/perf_tuning.rst)+ 昇腾特有优化手段。本文围绕后者展开:融合算子层面,MC2、RotaryMul、RMSNorm、Swiglu、GroupMatMul 已通过 npu_patch.py 在 FSDP 后端默认生效,Megatron 后端则需在 MindSpeed 中逐项开启;硬件配置层面,TASK_QUEUE_ENABLE 与 HCCL_OP_EXPANSION_MODE 分别作用于算子下发与通信编排;推理侧通过 Chunked Prefill 与 ACL Graph 提升吞吐;训练侧则依据模型规模与显存瓶颈,在 FSDP(Zero-2/Zero-3/HSDP)与 Megatron(TP/PP/CP/SP/EP/ETP + 分布式优化器)之间做出合理选择。将这些手段与仓库内置的 NPU 示例脚本结合,即可在昇腾设备上获得可复现、可持续迭代的性能优化路径。