HybridFlow(verl)昇腾 NPU 性能调优指南:融合算子、并行策略与推理训练全栈优化

原创2026-09-12 13:18:362,327 阅读
文章标签:人工智能大模型强化学习RLHF分布式训练深度学习机器学习微调

HybridFlow(verl)昇腾 NPU 性能调优指南:融合算子、并行策略与推理训练全栈优化

本指南以 perf_tuning_on_ascend.rst 为骨架,系统讲解在昇腾(Ascend)NPU 上运行 verl/HybridFlow 强化学习后训练任务时的性能调优手段,涵盖融合算子(MC2、RotaryMul、RMSNorm、Swiglu、GroupMatMul)、昇腾通用环境配置、推理阶段(Chunked Prefill、ACL Graph)与训练阶段(FSDP / Megatron 并行策略、分布式优化器)的调优实践。读完本文,你将掌握在昇腾设备上对 verl 的 actor/rollout 全链路进行针对性性能优化的完整方法,并了解其背后的源码实现依据。

一、昇腾性能调优概览:在通用调优之上叠加 NPU 特有手段

verl 官方在 docs/perf/perf_tuning.rst 中介绍的性能调优方法(如 batch size 与序列长度选择、并行度设置、通信优化等)在昇腾设备上同样适用。但昇腾 NPU 的算子库(CANN / torch_npu)与 CUDA 生态存在差异,需要额外的针对性手段才能充分释放硬件算力。

本文重点介绍的昇腾特有调优方向包括:

  1. 融合算子优化:通过数学等价替换将多个算子融合为一个算子,减少冗余计算与算子下发次数;
  2. 特定硬件配置:如算子下发队列(task queue)优化、通信算法编排展开位置选择;
  3. 昇腾亲和特性:如 MindSpeed 中集成的 Flash Attention、RotaryMul 融合等,以及 vLLM V1 引擎下的 Chunked Prefill 与 ACL Graph。

下文将按照"融合算子 → 通用配置 → 推理调优 → 训练调优"的顺序逐一展开。

二、融合算子优化:从数学等价替换到源码级落地

2.1 融合算子的优化原理

融合算子的核心思想是:通过数学意义上的等价替换,将多个算子融为一个算子的计算。这样做有两方面收益:

  • 减少冗余计算:原本需要多次读写中间结果的中间张量可以被省略,直接在片上完成整段计算;
  • 减少下发次数:每次算子下发都需要 Host 与 Device 之间进行交互,融合后算子数量减少,下发开销随之降低。

在 verl 中,这些融合算子已针对 Qwen2、Qwen3 系列模型在 npu_patch.py 中完成替换。verl 当前使用的全量融合算子实现位于 verl/models/transformers/npu_patch.py,下面结合源码逐一分析各典型融合算子。

2.2 典型 NPU 融合算子详解

MC2:矩阵计算与通信融合算子

MC2 是 CANN 中一系列计算通信融合算子的统称。它将原本串行的通信操作(如 allreduce)和计算操作(如 matmul)融合在一起,通过内部的切分和流水线并行执行来优化性能——典型场景即张量并行(TP)中的 RowParallelLinear:原本需要先完成局部 matmul 再跨卡 allreduce,现在两者合并为一个算子。

在 vllm-ascend 中,可通过指定环境变量使能:

export VLLM_ASCEND_ENABLE_MATMUL_ALLREDUCE=1

开启后,前向计算中的 RowParallelLinear 会使用 torch_npu.npu_mm_all_reduce_base,将分离的 matmul 和 allreduce 合并为一个融合算子执行。

RotaryMul / RotaryMulGrad:旋转位置编码融合

torch_npu 接口为 torch_npu.npu_rotary_mul(x, r1, r2),将 RoPE 计算中原本需要多个 element-wise 操作完成的部分合并为一次调用。参数说明:

  • x:q、k 张量,要求输入为 4 维,一般为 [B, N, S, D] 或 [B, S, N, D] 或 [S, B, N, D];
  • r1:cos 值,shape 要求输入为 4 维,一般为 [1, 1, S, D] 或 [1, S, 1, D] 或 [S, 1, 1, D];
  • r2:sin 值,shape 要求输入为 4 维,一般为 [1, 1, S, D] 或 [1, S, 1, D] 或 [S, 1, 1, D]。

在 verl 源码中,apply_rotary_pos_emb_npu 即用该接口替换了原始 RoPE 实现:

def apply_rotary_pos_emb_npu(q, k, cos, sin, position_ids=None, unsqueeze_dim=1):
    cos = cos.unsqueeze(unsqueeze_dim)
    sin = sin.unsqueeze(unsqueeze_dim)
    q_embed = torch_npu.npu_rotary_mul(q, cos, sin)
    k_embed = torch_npu.npu_rotary_mul(k, cos, sin)
    return q_embed.to(q.dtype), k_embed.to(k.dtype)

值得注意的是,Qwen3-Next / Qwen3.5 系列支持部分旋转(GQA 下的线性注意力)结构,其 RoPE 只作用于头部子集,因此源码中专门实现了 qwen3_next_apply_rotary_pos_emb_npu:先按 rotary_dim 将 q/k 切成旋转部分与直通部分,仅对旋转部分调用 npu_rotary_mul,再拼接回完整张量。

RmsNorm / RmsNormGrad:RMS 归一化融合

torch_npu 接口为 torch_npu.npu_rms_norm(self, gamma, epsilon=1e-06) -> (Tensor, Tensor)。参数说明:

  • self:Tensor 类型,shape 支持 1-8 维;
  • gamma:Tensor 类型,通常为 weight,shape 要求与 self 的后几维保持一致;
  • epsilon:Float 数据类型,用于防止除 0 错误。

输出说明:

  • 第 1 个输出为 Tensor,计算公式的最终输出 y;
  • 第 2 个输出为 Tensor,rms_norm 的中间结果 rstd,用于反向计算(避免前向/反向重复计算中间量)。

verl 源码中 rms_norm_forward_npu 的实现为:

def rms_norm_forward_npu(self, x):
    if x.dtype != self.weight.dtype:
        x = x.to(self.weight.dtype)
    return torch_npu.npu_rms_norm(x, self.weight, epsilon=self.variance_epsilon)[0]

此外,对于 Qwen3-Next / Qwen3.5 的 Gated RMSNorm(带门控的归一化),源码还实现了 qwen3_next_rms_norm_forward_gated_npu,在 float32 精度下完成归一化并乘以 SiLU 门控。

Swiglu:门控激活融合

torch_npu 接口为 torch_npu.npu_swiglu(Tensor self, int dim=-1) -> (Tensor)。参数说明:

  • self:Tensor 类型,shape 支持 1-8 维;
  • dim:Int 类型,默认为 -1。

输出说明:输出为 Tensor,计算公式的最终输出 y,即 SwiGLU 激活结果。

verl 源码中 silu_forward_npu 先拼接 gate_proj 与 up_proj 的输出,再一次性完成 SwiGLU 激活:

def silu_forward_npu(self, hidden_state):
    gate_up = torch.cat((self.gate_proj(hidden_state), self.up_proj(hidden_state)), dim=-1)
    return self.down_proj(torch_npu.npu_swiglu(gate_up, dim=-1))

在 MoE 场景下,NPUGmmFunction 的 MoE 前向还会将 GroupMatMul 结果直接送入 npu_swiglu,进一步压缩中间张量的显存占用与读写开销。

GroupMatMul:分组矩阵乘

函数原型如下,用于 MoE 中按专家分组的矩阵乘法,支持量化(antiquant、per-token scale)、分组列表、激活量化等多种扩展参数:

npu_grouped_matmul(
    x,
    weight,
    *,
    bias=None,
    scale=None,
    offset=None,
    antiquant_scale=None,
    antiquant_offset=None,
    per_token_scale=None,
    group_list=None,
    activation_input=None,
    activation_quant_scale=None,
    activation_quant_offset=None,
    split_item=0, group_type=None,
    group_list_type=0,
    act_type=0,
    output_dtype=None,
    tuning_config=None
) -> List[Tensor]

verl 通过自定义 autograd 函数 NPUGmmFunction 封装该接口:前向以 split_item=2, group_type=0 完成 (tokens_num * top_k, hidden_size) 输入与 (n_experts, hidden_size, intermediate_size) 专家权重的分组乘;反向分别对 grad_output 与转置权重计算 dx(split_item=2)、对输入与梯度计算 dw(split_item=3, group_type=2)。group_list_type=1 表示 group_list 为每个专家的直接 token 计数(type 0 则为累计和)。

配合 MoE 路径上的 torch_npu.npu_moe_token_permute / torch_npu.npu_moe_token_unpermute(见 NPUQwen3VLMoeTextExperts 与 qwen3_5_moe_experts_forward_npu),专家 token 重排与分组矩阵乘被完整流水线化,大幅降低 MoE 层的访存与调度开销。

2.3 Patch 机制:如何自动生效

npu_patch.py 中定义了 NPU_PATCHES 字典,覆盖 qwen2、qwen2_5_vl、qwen3、qwen3_moe、qwen3_vl、qwen3_vl_moe、qwen3_next、qwen3_5、qwen3_5_moe 共 9 个模型系列,每个系列对应一个 patch 函数,例如 _patch_qwen3() 会替换 Qwen3RMSNorm.forward、Qwen3MLP.forward 与 apply_rotary_pos_emb。

入口函数 apply_npu_patches 会遍历该字典逐个尝试应用 patch:模型在 transformers 中不可用时跳过(ImportError),其他异常记录 warning,成功则打印日志。该函数由 verl/workers/engine/fsdp/utils.py 中的 apply_npu_fsdp_patches 在检测到 NPU 可用时自动调用(注意:若配置了 use_liger 则跳过,避免与 Liger Kernel 的优化实现冲突)。

2.4 FSDP 后端的融合算子使用方法

在 verl/models/transformers/npu_patch.py 中,可用的融合算子已通过 patch 形式替换,无需进行任何额外操作即可默认使用。只要在 NPU 上以 FSDP 后端启动 verl,apply_npu_fsdp_patches 就会自动完成全部替换。

2.5 Megatron 后端的融合算子使用方法

Megatron 后端的融合算子集成在 MindSpeed 中,需要通过 +actor_rollout_ref.actor.megatron.override_transformer_config.xxx=True 形式显式开启。注意,FSDP 的 patch 机制与 Megatron 的 MindSpeed 机制相互独立,二者按后端分别配置。具体参数如下:

  1. Flash Attention(必须开启)
+actor_rollout_ref.actor.megatron.override_transformer_config.use_flash_attn=True
  1. RotaryMul
+actor_rollout_ref.actor.megatron.override_transformer_config.apply_rope_fusion=True
+actor_rollout_ref.actor.megatron.override_transformer_config.use_fused_rotary_pos_emb=True
  1. RMSNorm
+actor_rollout_ref.actor.megatron.override_transformer_config.use_fused_rmsnorm=True
  1. GroupMatMul(MoE 分组矩阵乘)
+actor_rollout_ref.actor.megatron.override_transformer_config.moe_grouped_gemm=True
  1. Swiglu
+actor_rollout_ref.actor.megatron.override_transformer_config.use_fused_swiglu=True
  1. Permute/Unpermute(MoE 专家 token 重排融合)
+actor_rollout_ref.actor.megatron.override_transformer_config.fused_permute_unpermute=True
  1. MC2(计算通信融合)
+actor_rollout_ref.actor.megatron.override_transformer_config.use_ascend_mc2=True

从源码看,verl 在 verl/models/mcore/config_converter.py 中为各 MoE 模型转换器已经默认设置了部分融合开关:例如 hf_to_mcore_config_qwen2moe、hf_to_mcore_config_mixtral、hf_to_mcore_config_qwen3moe 均默认 moe_grouped_gemm=True,Mixtral 转换器还默认 apply_rope_fusion=True(见 config_converter.py 与 config_converter.py)。上述 override_transformer_config 参数会作为覆盖项(kwargs)合并进最终 TransformerConfig(config_converter.py),因此用户可通过命令行按需覆盖默认值。

在官方 NPU 示例脚本(如 grpo_30b_a3b_base_math_megatron_96_32_mis.sh)中可以同时看到 apply_rope_fusion=True 与 moe_grouped_gemm=True 的典型组合用法;而 geo3k_qwen3vl_30b_megatron_6_2_npu_async.sh 中则显式关闭 apply_rope_fusion,说明该开关需要与具体模型结构(是否支持 rope 融合实现)匹配,实际使用时应以目标模型的 MindSpeed 支持情况为准。

三、昇腾通用配置:面向全链路的硬件级调优

3.1 算子下发队列优化:TASK_QUEUE_ENABLE

通过环境变量 TASK_QUEUE_ENABLE 可配置 task_queue 算子下发队列优化等级,默认为 Level 1 优化。该配置可以减少 Host 下发时间,可用于缓解由下发导致的整体 free(空闲)过大问题。支持三个等级:

  • Level 0:不开启下发流水优化。
  • Level 1:将算子下发任务分为两段,一部分任务(主要是 aclnn 算子的调用)放在新增的二级流水上,一、二级流水通过算子队列传递任务,相互并行,通过部分掩盖减少整体的下发耗时,提升端到端性能。
  • Level 2:基于 Level 1 的优化进一步平衡一、二级流水的任务负载,主要是将 workspace 相关任务迁移至二级流水,掩盖效果更好,性能收益更大。该配置仅在二进制场景生效,建议配置值为 Level 2 优化。

配置方式:

export TASK_QUEUE_ENABLE=1   # 或 0 / 2

3.2 通信算法编排展开:HCCL_OP_EXPANSION_MODE

使用环境变量 HCCL_OP_EXPANSION_MODE=AIV 可配置通信算法的编排展开位置,即通信算法(如 allreduce、allgather 等)的调度逻辑在哪个执行单元上展开与调度。支持如下取值:

  • AI_CPU:通信算法的编排展开位置在 Device 侧的 AI CPU,Device 侧根据硬件型号自动选择相应的调度器;
  • AIV:通信算法的编排展开位置在 Device 侧的 Vector Core,执行也在 Vector Core;
  • HOST:通信算法的编排展开位置为 Host 侧 CPU,Device 侧根据硬件型号自动选择相应的调度器;
  • HOST_TS:通信算法的编排展开位置为 Host 侧 CPU,Host 向 Device 的 Task Scheduler 下发任务,Device 的 Task Scheduler 进行任务调度执行。

不同取值对通信链路的时延与 Device 资源占用有直接影响:AI_CPU / AIV 将编排逻辑下沉到 Device 侧,可减少 Host-Device 交互;HOST / HOST_TS 则由 Host 侧承担编排,Device 侧资源占用更小。实际调优时应结合通信占比与 Device 负载观察选择,通常大规模并行(高通信占比)场景建议优先尝试 AIV。

四、推理阶段调优(Rollout 侧)

4.1 Chunked Prefill in V1

verl 的 vLLM 引擎当前版本已默认启用 VLLM V1 引擎。在 V1 下,可通过以下配置启用 Chunked Prefill(分块预填充),将长序列的 prefill 拆分为多个 chunk,与 decode 阶段交错执行,从而显著提升吞吐:

actor_rollout_ref.rollout.enable_chunked_prefill=True

从配置与实现看,verl/workers/config/rollout.py 中 enable_chunked_prefill 默认值为 True(当前仓库默认开启),该值会被透传给 vllm_async_server.py 中的 AsyncLLM 引擎参数。源码同时对关闭 chunked prefill 的场景做了约束检查(vllm_async_server.py):若 enable_chunked_prefill=False,则要求 max_num_batched_tokens >= max_model_len,否则会触发告警提示配置不合理。

在官方 NPU 示例中,dapo_30b_a3b_math_fsdp_npu.sh 等脚本均显式设置 actor_rollout_ref.rollout.enable_chunked_prefill=True,可作为昇腾上启用该特性的参考模板。

4.2 Graph Mode:ACL Graph

与 CUDA Graph 类似,NPU 通过以下配置启用 ACL Graph,将多次算子的固定计算图捕获后整体回放,减少逐算子下发与调度开销:

actor_rollout_ref.rollout.enforce_eager=False

即关闭 eager 模式后,引擎会自动走图模式路径。verl/workers/config/rollout.py 中 enforce_eager 默认值为 False,该值会映射到 vLLM 的 enforce_eager 参数(vllm_async_server.py)与 sglang 的 disable_cuda_graph 参数(async_sglang_server.py)。

注意:ACL Graph 与 taskqueue Level 2 原理冲突,二者无法同时开启。如果已经通过 TASK_QUEUE_ENABLE=2 启用了二级下发流水,则不应再启用 Graph Mode,否则会产生冲突;反之亦然。

五、训练阶段调优(Actor / Ref 侧)

5.1 FSDP 分片策略选择

FSDP 在 verl 中通过 actor_rollout_ref.actor.fsdp_config 下的参数控制分片策略,常见策略与说明如下:

FSDP 策略 说明
/(默认) 仅切分优化器(Zero-1)
SHARD_GRAD_OP 切分梯度和优化器(Zero-2)
HYBRID_SHARD 切分权重、梯度和优化器(Zero-3)
2D device_mesh + HYBRID_SHARD 又称 HSDP(FSDP+DDP)。例如 device_mesh=[2,8],每 8 个 rank 为一个 FSDP 组,组内进行 FSDP 切分,共有两个组,组间进行 DDP,通过 allreduce 同步梯度
2D device_mesh + HYBRID_SHARD_ZERO2 HSDP 的 Zero-2 版本
NO_SHARD DDP

关于实现细节,有两点值得注意:

  1. FSDP 不支持 Zero-1:verl 会根据卡数和 actor_rollout_ref.actor.fsdp_config.fsdp_size 来决定 device mesh 的取值,默认使用 Zero-3 进行切分。从源码看,verl/workers/engine/fsdp/utils.py 中的 create_device_mesh(world_size, fsdp_size) 决定 mesh 形态:当 fsdp_size < 0 或 fsdp_size >= world_size 时创建一维 ["fsdp"] mesh;否则创建二维 ["ddp", "fsdp"] mesh,与文档中"2D device_mesh + HYBRID_SHARD"的说明一一对应。

  2. 小模型可用 Zero-2 提速:如果模型较小(建议小于 7B 时),可以通过控制参数 actor_rollout_ref.actor.fsdp_config.reshard_after_forward=True 在 FSDP/FSDP2 上使用 Zero-2 来优化性能。其原理是前向结束后不立即释放(reshard)全量权重,从而减少反复 all-gather 的通信开销。当前仓库 fsdp.yaml 中 reshard_after_forward 默认即为 true(FSDP1 下对应 ShardingStrategy.SHARD_GRAD_OP);FSDP2 则通过 set_reshard_after_forward 在运行时调整该参数(该函数同时解决了 torch 2.8.0 之前缺少对应 API 的兼容问题)。NPU 示例脚本 geo3k_qwen3vl_8b_fsdp2_16_16_npu.sh 中对 actor 与 ref 均显式设置了 reshard_after_forward=True。

5.2 Megatron 并行策略:TP / PP / CP / SP / EP / ETP

在模型较大时,使用 Megatron 作为训练后端可以更灵活地进行性能调优。verl 文档给出的并行度选择决策逻辑如下:

  • 当 DP 并行显存无法容纳模型时,优先开启 TP 来切分模型权重;
  • 如果模型仍然过大,再开启 PP 来进一步切分;
  • 如果序列过长导致激活太大,则可以开启 CP 和 SP 来进行优化;
  • 在 MoE 模型中则可以额外开启 EP 来控制对专家的切分;
  • 如果专家过小,为了避免将权重切得过于细碎,可以开启 ETP 来避免 MoE 部分的 TP 切分,而将多个完整的专家分布到 DP 和 TP 上。

其中 TP、PP、EP、ETP 与 Megatron 的常规使用方式一致;CP 和 SP 在 NPU 上通过 MindSpeed 开启,配置方式如下:

  • SP(Sequence Parallel):在 Tensor Parallel 的基础上进一步提高计算效率,通过将输入数据的序列维度进行切分实现并行计算。在 NPU 上通过 MindSpeed 调用:
actor_rollout_ref.actor.megatron.override_transformer_config.sequence_parallel=True
  • CP(Context Parallel):在多个 GPU/NPU 上并行处理神经网络激活值,通过在序列维度上对输入张量进行划分实现。在 NPU 上通过 MindSpeed 调用(两个参数必须同时添加):
actor_rollout_ref.actor.megatron.context_parallel_size
actor_rollout_ref.actor.megatron.override_transformer_config.context_parallel_size

其中第一个参数用于通知 verl 框架参与 CP 的卡数(影响通信组构建与数据切分),第二个参数用于向 MindSpeed 的 TransformerConfig 下发 CP 配置,二者缺一不可。

5.3 Megatron Distributed Optimizer:分布式优化器

在面对较大尺寸模型时,通常需要将优化器分片到一个 DP 域内的每张卡上来节省显存。Megatron 后端下在 NPU 上开启分布式优化器:

+actor_rollout_ref.actor.megatron.override_transformer_config.use_distributed_optimizer=True

该开关在 verl 侧的默认配置可见 verl/trainer/config/engine/megatron.yaml(当前仓库默认 use_distributed_optimizer: True),并贯穿到 verl/utils/megatron_utils.py 中的 DDP 配置构建(ddp_config.use_distributed_optimizer = True)以及 verl/utils/megatron/optimizer.py 的优化器封装。开启后,优化器状态(动量、方差等)按 DP 域切分存储,单卡显存占用显著下降,代价是每步更新前需要额外的通信(gather 完整梯度后再分片更新)。该配置还与检查点管理联动:由于分布式优化器保存/加载的是分片后的优化器状态,megatron_checkpoint_manager.py 会依据 use_distributed_optimizer 选择不同的优化器状态存取路径,因此在切换该开关后如需加载旧检查点,应确认检查点中优化器状态的保存格式一致。

六、调优实战建议与参考资源

6.1 推荐的调优排查顺序

综合全文内容,在昇腾 NPU 上运行 verl 任务时,建议按如下顺序排查性能瓶颈:

  1. 确认融合算子已生效:FSDP 后端检查日志中的 "Applied NPU patches"(npu_patch.py);Megatron 后端逐一核对 2.5 节的 7 个开关,尤其确认 use_flash_attn=True;
  2. 检查 Host 下发是否成为瓶颈:若观测到大量 free 空闲时间,配置 TASK_QUEUE_ENABLE=1(默认)或二进制场景下尝试 2;
  3. Rollout 侧:确认 V1 引擎下 enable_chunked_prefill=True(默认已开启);若推理 shape 固定且下发开销大,可启用 ACL Graph(注意与 taskqueue Level 2 冲突);
  4. 训练侧:根据模型规模选择 FSDP 分片策略(小模型 Zero-2 / 大模型 Zero-3 + 必要时 HSDP),大模型换用 Megatron 并按显存瓶颈依次开启 TP → PP → CP/SP → EP/ETP,显存仍紧张时开启分布式优化器;
  5. 通信侧:结合 HCCL_OP_EXPANSION_MODE 的取值调整通信编排位置,观察端到端吞吐变化。

6.2 可复用的 NPU 参考脚本

以下仓库内脚本包含了上述参数的完整组合用法,可作为昇腾调优配置的起点:

此外,docs/ascend_tutorial/zh/dev_guide/performance 目录下还有 ascend_performance_analysis_guide.md 与 ascend_profiling.rst,分别面向性能分析方法论与 Profiling 工具使用,可与本文形成完整闭环。

七、总结

昇腾 NPU 上的 verl 性能调优 = 通用 RL 训练调优方法(见 docs/perf/perf_tuning.rst)+ 昇腾特有优化手段。本文围绕后者展开:融合算子层面,MC2、RotaryMul、RMSNorm、Swiglu、GroupMatMul 已通过 npu_patch.py 在 FSDP 后端默认生效,Megatron 后端则需在 MindSpeed 中逐项开启;硬件配置层面,TASK_QUEUE_ENABLE 与 HCCL_OP_EXPANSION_MODE 分别作用于算子下发与通信编排;推理侧通过 Chunked Prefill 与 ACL Graph 提升吞吐;训练侧则依据模型规模与显存瓶颈,在 FSDP(Zero-2/Zero-3/HSDP)与 Megatron(TP/PP/CP/SP/EP/ETP + 分布式优化器)之间做出合理选择。将这些手段与仓库内置的 NPU 示例脚本结合,即可在昇腾设备上获得可复现、可持续迭代的性能优化路径。

登录后查看全文
verl