Cosmos 世界模型昇腾 NPU 多卡并行推理优化实战:CFG 并行、上下文并行与融合算子适配
Cosmos 世界模型昇腾 NPU 多卡并行推理优化实战:CFG 并行、上下文并行与融合算子适配
本文基于 docs/world_model/Cosmos/README.md 展开,系统讲解 NVIDIA Cosmos 系列世界基础模型在昇腾(Ascend)NPU 平台上的多卡并行推理优化方案。文章以该文档为骨架,结合仓库内 cosmos-transfer2.5 与 cosmos-predict2.5 的适配源码与脚本,深入剖析 CFG(Classifier-Free Guidance)并行、上下文并行(Context Parallelism)的使能方式,以及 Flash Attention、RMSNorm、Rotary 位置编码三类融合算子的替换原理与落地细节。读者读完可掌握在昇腾多卡环境下运行 Cosmos 系列模型、按需配置并行策略、替换 NPU 融合算子的完整方法。
1. 优化概述:为 Cosmos 世界模型补齐昇腾多卡推理能力
本次优化针对 Cosmos 系列世界基础模型在昇腾 NPU 平台上的多卡并行推理能力进行系统性增强,主要覆盖两个模型:
| 模型 | 定位 | 仓库目录 |
|---|---|---|
| Cosmos-Transfer2.5-2B | 视频风格转换多控制网络模型(支持深度图、语义分割、边缘检测等控制模态) | world_model/cosmos-transfer2.5 |
| Cosmos-Predict2.5-2B | 视频生成世界基础模型(基于流匹配架构,文本/图像/视频条件生成) | world_model/cosmos-predict2.5 |
优化重点聚焦于使能多卡并行功能,包括三类能力:
- CFG 并行(Classifier-Free Guidance Parallelism):将 NPU 划分为两组,分别处理条件(conditional)与无条件(unconditional)去噪任务,提升大规模集群扩展性;
- 上下文并行(Context Parallelism):跨设备分配长序列视频帧,支持超长视频生成;
- NPU 设备管理:实现昇腾多卡环境下的分布式高效推理。
此外,针对 NPU 硬件特性,还进行了算子级优化,包括 Flash Attention 替换、RMSNorm 融合算子适配 以及 Rotary 位置编码优化,均通过 torch_npu 内置融合算子替代原始 CUDA 生态实现。
2. 多卡并行使能:从配置到推理层的两条并行路径
2.1 一脚本使能:npu_adapt.sh 的多卡并行入口
目前的 Cosmos-Predict2.5 与 Cosmos-Transfer2.5 通过运行各自仓库根目录下的 npu_adapt.sh 脚本即可在 NPU 上正常进行多卡并行推理:
从源码看,两个脚本均以 set -e 严格模式运行,采用「先备份原文件(.bak)、再用 sed 定点改写」的策略,自动化完成以下改造:
- 清理 transformer_engine(TE)依赖:删除
minimal_v4_dit.py、wan2pt1.py、fused_adam*.py等文件中对transformer_engine的 import 与版本判断代码块,并将te.pytorch.RMSNorm全局替换为本地RMSNorm; - 绕过 CUDA 检查:删除
cosmos_predict2/__init__.py、cosmos-oss/__init__.py中的_check_cuda_extra()调用,删除qwen2_5_vl.py中的assert is_flash_attn_2_available()断言,删除distributed.py中的pynvml.nvmlInit()与libcudart相关代码; - 注入 torch_npu:向
qwen2_5_vl.py插入import torch_npu; - (仅 Transfer2.5)注入 CFG 并行参数:向
cosmos_transfer2/config.py的SetupArguments数据类追加enable_cfg_parallel字段(见 2.2 节)。
脚本在每次插入/替换前都会先检查目标内容是否已存在(如 grep -q "enable_cfg_parallel"、grep -q "^import torch_npu"),保证脚本可重复执行而不会产生重复修改。
2.2 配置层:在 SetupArguments 中新增并行控制参数
Cosmos-Transfer2.5 原生支持多种控制模态(深度图、语义分割、边缘检测等)的视频到视频风格迁移。为提升大规模推理效率,需要同时支持以下两种并行策略:
- CFG 并行:将 NPU 分为两组,分别处理条件与无条件去噪任务;
- 上下文并行:跨设备分配长序列视频帧,支持超长视频生成。
为此,在 SetupArguments 数据类中新增如下参数(修改文件:cosmos_transfer2/config.py):
# 在 SetupArguments 数据类中添加新参数
enable_cfg_parallel: bool = False
"""Enable Classifier-Free Guidance parallelism for better scaling across more NPUs.
Splits NPUs into two groups for conditional/unconditional denoising."""
该参数默认关闭,保证与官方行为完全兼容;仅当显式开启时才进入「CFG 并行 + 上下文并行」的组合模式。此参数由 npu_adapt.sh 通过定位 parallel_tokenizer_grid 文档字符串结束标记自动插入,无需手工编辑。
2.3 推理层:重构 Control2WorldInference.init
修改文件:cosmos_transfer2/inference.py
Patch 文件:world_model/cosmos-transfer2.5/adaptor_patches/inference_patch.py
该 Patch 以「运行时整体替换 Control2WorldInference.__init__ 方法」的方式生效(文件末尾的 Control2WorldInference.__init__ = init),无需侵入式修改官方源码。关键代码变更对比如下:
# 原始代码 (官方版本)
self.device_rank = 0
process_group = None
if args.context_parallel_size > 1:
from megatron.core import parallel_state
distributed.init()
parallel_state.initialize_model_parallel(context_parallel_size=args.context_parallel_size)
process_group = parallel_state.get_context_parallel_group()
# 优化后代码 (昇腾适配版)
self.device_rank = 0
cfg_parallel = args.enable_cfg_parallel # 新增:读取 CFG 并行标志
process_group = None
if args.context_parallel_size > 1:
from megatron.core import parallel_state
distributed.init()
# 根据 cfg_parallel 决定上下文并行规模
if cfg_parallel:
# CFG 并行模式:将总卡数对半分,一半用于 condition,一半用于 unconditional
parallel_state.initialize_model_parallel(context_parallel_size=args.context_parallel_size // 2)
else:
# 标准模式:使用全部卡进行上下文并行
parallel_state.initialize_model_parallel(context_parallel_size=args.context_parallel_size)
process_group = parallel_state.get_context_parallel_group()
逻辑说明:
- CFG 并行模式(
enable_cfg_parallel=True):假设总卡数为 8,则context_parallel_size=4,即 4 卡处理条件去噪分支,4 卡处理无条件去噪分支,两组卡分别沿上下文维度继续切分; - 标准并行模式(
enable_cfg_parallel=False):8 卡全部用于上下文并行,单分支内获得最大上下文切分; - 传递 cfg_parallel 标志:重构后的
init还会把该标志继续传递给下游推理流水线ControlVideo2WorldInference(对应仓库 Patch 中的cfg_parallel=cfg_parallel实参),使条件/无条件两路去噪在整个生成流程中保持正确的设备分组。
2.4 Predict2.5 的 Monkey Patch 机制
与 Transfer2.5 的「sed 改源 + 方法替换」不同,Cosmos-Predict2.5 通过 Monkey Patch 机制在运行时动态应用 NPU 适配补丁:world_model/cosmos-predict2.5/adaptor_patches/monkey_patch.py。
从源码看,该补丁由 examples/inference.py 在导入阶段显式调用 apply_all_patches(),其内部依次执行:
setup_npu_device():读取LOCAL_RANK环境变量,通过torch_npu.set_device与torch.set_default_device(f'npu:{local_rank}')完成 NPU 设备初始化;patch_minimal_v4_dit():将m.apply_rotary_pos_emb替换为基于npu_rotary_mul的实现(见 3.3 节);重载Attention.compute_qkv以去掉官方版本多余的tensor_format、fused参数;同时将Attention的 Q/K 归一化、MiniTrainDIT.t_embedding_norm、I2VCrossAttention.k_img_norm全部替换为npu_rms_norm融合版RMSNorm;patch_qwen2_5_vl():替换Qwen2_5_VLFlashAttention2.__init__与forward,实现基于npu_fusion_attention的注意力前向(见 3.1 节)。
由此可见,两个模型采用了两种不同的适配技术路线:Transfer2.5 以「配置项 + 方法替换 Patch」为主,Predict2.5 以「运行时 Monkey Patch」为主,二者最终都实现了对 torchrun 多卡分布式推理的完整支持。
3. NPU 算子性能优化:三大融合算子替换
3.1 Flash Attention 替换
3.1.1 优化说明
使用 torch_npu 中的 npu_fusion_attention 融合算子替换源代码中的 FlashAttention 算子实现,将 Q/K/V 计算、掩码、softmax 等注意力核心计算在单个 NPU 融合算子内完成,避免多次中间张量搬运。
3.1.2 实现方式
两个模型采用了不同的调用路径:
(1)Cosmos-Predict2.5-2B:直接调用 torch_npu 接口
attn_output_bnsd = torch_npu.npu_fusion_attention(
query_bnsd, key_bnsd, value_bnsd, head_num, input_layout="BNSD",
pse=None,
atten_mask=self.atten_mask_npu,
scale=scale,
pre_tockens=2147483647,
next_tockens=2147483647,
keep_prob=1,
sparse_mode=2
)[0]
对应仓库 monkey_patch.py 中的 new_npu_flash_forward。关键参数含义:
input_layout="BNSD":输入为 Batch × Head × Seq × Dim 布局,调用前先将 Q/K/V 转为contiguous()的 BNSD 张量;atten_mask:在Qwen2_5_VLFlashAttention2.__init__被替换后,直接在 NPU 上以torch.triu(torch.ones(2048, 2048, device="npu"), diagonal=1).bool()创建上三角因果掩码,省去设备间拷贝;pre_tockens/next_tockens设为2147483647:表示不限制左右可视范围;sparse_mode=2:配合全量掩码的稀疏模式配置;keep_prob=1:推理阶段不进行 dropout;- 调用后输出仍为 BNSD,需
permute(0, 2, 1, 3)转回 BSND 布局再送入o_proj。
同时,补丁将 is_flash_attn_2_available 强制替换为始终返回 False 的函数,从而在 Transformers 库内部绕开 flash_attn 检查,避免走到不可用的 CUDA flash 路径。
(2)Cosmos-Transfer2.5-2B:使用原生 SDPA 接口
attn_output_bnsd = F.scaled_dot_product_attention(
query_bnsd,
key_bnsd,
value_bnsd,
attn_mask=None,
dropout_p=0.0,
is_causal=True
)
对应仓库 qwen2_5_vl_patch.py 中的 patch_forward。该实现将输入由 BSND 通过 permute(0, 2, 1, 3).contiguous() 转为 BNSD,调用 F.scaled_dot_product_attention(在昇腾侧由 torch_npu 后端映射为融合实现),再转回 BSND→BSND 布局并送入 o_proj。该 Patch 同样以 transformers.utils.is_flash_attn_2_available = _is_flash_attn_2_available_patched 的形式关闭 flash_attn_2 可用性检查。
3.1.3 优化位置
cosmos-predict2.5/cosmos_predict2/_src/reason1/networks/qwen2_5_vl.pycosmos-transfer2.5/cosmos_transfer2/_src/reason1/networks/qwen2_5_vl.py
3.2 RMSNorm 融合算子适配
3.2.1 优化说明
使用 torch_npu 内置的 npu_rms_norm 融合算子替换源代码中的自定义实现,将均方根计算、倒数开方、加权等步骤融合到单个 NPU 算子中。
3.2.2 实现方式
(1)原始实现:
class RMSNorm(torch.nn.Module):
def __init__(self, dim: int, eps: float = 1e-5):
super().__init__()
self.eps = eps
self.weight = nn.Parameter(torch.ones(dim))
def reset_parameters(self):
torch.nn.init.ones_(self.weight)
def _norm(self, x):
return x * torch.rsqrt(x.pow(2).mean(-1, keepdim=True) + self.eps)
def forward(self, x: torch.Tensor) -> torch.Tensor:
output = self._norm(x.float()).type_as(x)
return output * self.weight
(2)优化后实现:
class RMSNorm(torch.nn.Module):
def __init__(self, dim: int, eps: float = 1e-5):
super().__init__()
self.eps = eps
self.weight = nn.Parameter(torch.ones(dim))
def reset_parameters(self):
torch.nn.init.ones_(self.weight)
def _norm(self, x):
return x * torch.rsqrt(x.pow(2).mean(-1, keepdim=True) + self.eps)
def forward(self, x: torch.Tensor) -> torch.Tensor:
output = torch_npu.npu_rms_norm(x, self.weight.float(), epsilon=self.eps)[0]
return output
值得说明的是,仓库 monkey_patch.py 中 Predict2.5 的 RMSNorm 版本将 eps 默认值取为 1e-6,并在构造 Attention 时通过替换后的 __init__ 将 q_norm、k_norm 换成该融合版(v_norm 保持 torch.nn.Identity()),同时替换 MiniTrainDIT 的时间嵌入归一化层与 I2VCrossAttention 的 k_img_norm,从而在 DiT 主干中全面消除对 TE(transformer_engine)归一化实现的依赖。
3.2.3 优化位置
cosmos-predict2.5/cosmos_predict2/_src/predict2/networks/minimal_v4_dit.pycosmos-transfer2.5/cosmos_transfer2/_src/predict2/networks/minimal_v4_dit.py
3.3 Rotary 位置编码融合算子适配
3.3.1 优化说明
使用 torch_npu 内置的 npu_rotary_mul 融合算子替换源代码中由 transformer_engine 导入的 apply_rotary_pos_emb,将余弦/正弦因子乘法融合为单算子执行。
3.3.2 实现方式
def apply_rotary_pos_emb(
x: torch.Tensor,
freqs: torch.Tensor,
) -> torch.Tensor:
radians = freqs.transpose(0, 1)
cos = torch.cos(radians)
sin = torch.sin(radians)
res_rot = torch_npu.npu_rotary_mul(x, cos, sin)
return res_rot
在 Predict2.5 的 monkey_patch.py 中,该实现被直接赋值给 m.apply_rotary_pos_emb,且重载后的 Attention.compute_qkv 仅向其中传入 q/k 与 rope_emb,不再传入官方版本的 tensor_format、fused 等参数;同时保留了 use_wan_fp32_strategy 时先转 float32 计算再转回原精度的路径,维持 WAN 系模型的数值行为。
3.3.3 优化位置
cosmos-predict2.5/cosmos_predict2/_src/predict2/networks/minimal_v4_dit.pycosmos-transfer2.5/cosmos_transfer2/_src/predict2/networks/minimal_v4_dit.py
4. 端到端实践:从环境准备到多卡推理
4.1 代码仓拉取与适配
官方代码仓与 CANN 优化仓组合使用(详见 cosmos-predict2.5 README 与 cosmos-transfer2.5 README):
# 进入需要放置代码仓的本地目录下
git clone https://gitcode.com/cann/cann-recipes-embodied-ai.git
# 以 cosmos-transfer2.5 为例:拉取官方仓并固定 commit
git clone https://github.com/nvidia-cosmos/cosmos-transfer2.5.git && cd cosmos-transfer2.5 && git checkout 8b0e6af4b3bed40408c5762e528cb4e2a233f278
git lfs pull
cd ../
# 将优化仓内对应目录的所有文件复制替换到官方仓
cp -rf cann-recipes-embodied-ai/world_model/cosmos-transfer2.5/* ./cosmos-transfer2.5
注意:官方仓需使用 git-lfs 拉取大文件;若昇腾环境未安装 git-lfs,需先根据 uname -m 输出的 CPU 架构(aarch64 选 ARM64 版、x86_64 选 AMD64 版)下载对应安装包并执行 ./install.sh。
4.2 昇腾运行环境配置
两个模型的运行环境要求一致,关键点如下:
- CANN 软件包:依赖
cann-toolkit与cann-kernels,支持版本为CANN 8.3.RC1(Ascend-cann-toolkit_${version}_linux-${aarch}.run与Atlas-A3-cann-kernels_${version}_linux-${aarch}.run);每次新建终端需先执行source /usr/local/Ascend/ascend-toolkit/set_env.sh(或指定安装路径版本); - uv 环境管理(可选):
wget -qO- https://astral.sh/uv/install.sh | sh; - ffmpeg 4.4.2 与 decord 0.6.0:在代码仓根目录分别执行
./ffmpeg_install.sh、./decord_install.sh(两者放置在同一文件夹下); - 其他依赖:
uv sync创建运行环境。其中 cosmos-transfer2.5/pyproject.toml 已声明torch_npu==2.7.1、torchvision==0.22.1等昇腾侧依赖;Transfer2.5 还需安装libGL(euler 环境执行yum install -y libGL libGLU libEGL libX11-devel)。
4.3 单卡与多卡推理命令
Cosmos-Transfer2.5-2B(视频风格转换,多控制输入):
cd cosmos-transfer2.5
chmod +x npu_adapt.sh
./npu_adapt.sh
source .venv/bin/activate
# 单卡推理:模型权重会自动下载至 ~/.cache/huggingface/hub/
python examples/inference.py \
-i assets/robot_example/multicontrol/robot_multicontrol_spec.json \
-o outputs/multicontrol \
--disable-guardrails
# 多卡推理(8 卡)
ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --nproc_per_node=8 --master_port=12341 examples/inference.py \
-i assets/robot_example/multicontrol/robot_multicontrol_spec.json \
-o outputs/multicontrol \
--disable-guardrails
Cosmos-Predict2.5-2B(世界模型视频生成,video2world):
cd cosmos-predict2.5
chmod +x npu_adapt.sh
./npu_adapt.sh
source .venv/bin/activate
# 单卡推理
python examples/inference.py \
-i assets/base/robot_pouring.json \
-o outputs/base_video2world \
--inference-type=video2world \
--model="2B/post-trained" \
--disable_guardrails
# 多卡推理(8 卡)
ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --nproc_per_node=8 --master_port=12341 examples/inference.py \
-i assets/base/robot_pouring.json \
-o outputs/base_video2world \
--inference-type=video2world \
--model="2B/post-trained" \
--disable_guardrails
多卡推理均通过 torchrun --nproc_per_node=8 启动,结合 ASCEND_RT_VISIBLE_DEVICES 指定参与并行推理的 NPU 设备号;若要启用 CFG 并行,则在命令行参数中增加 --enable-cfg-parallel(对应 SetupArguments.enable_cfg_parallel)即可让 8 卡自动拆分为 4+4 两组执行条件/无条件去噪。Predict2.5 的官方样例输入 robot_pouring.json 在昇腾 A3 上完整运行耗时约 920 秒,输出预测视频 robot_pouring.mp4 保存在输出目录中。
4.4 精度验证参考
两个模型的 README 均给出基于视频观察与 PAI-Bench 测试框架的精度验证方法(与 NVIDIA 平台生成视频对比、执行 PAI-Bench 评估脚本并核对指标区间):
- Cosmos-Predict2.5(PAI-Bench-G 视频生成评估):
aesthetic_quality(美学质量)≈ [0.63, 0.66]background_consistency(背景一致性)≈ [0.97, 1.00]imaging_quality(成像质量)≈ [0.70, 0.73]motion_smoothness(运动平滑度)≈ [0.98, 1.00]subject_consistency(主体一致性)≈ [0.98, 1.00]
- Cosmos-Transfer2.5(PAI-Bench-C 条件视频生成评估):
blur_ssim≈ [0.82, 0.84]canny_f1_score≈ [0.32, 0.35]depth_si_rmse≈ [0.90, 0.95]seg_m_iou≈ [0.66, 0.68]
上述区间为仓库 README 给出的参考范围,实际数值与输入数据、运行环境相关。
5. 总结
本次优化成功实现了 Cosmos 系列模型在昇腾 NPU 平台上的多卡并行推理能力与算子级性能增强,可归纳为三层:
5.1 多卡并行优化
- Cosmos-Transfer2.5:新增
enable_cfg_parallel参数,支持 CFG 并行与上下文并行的灵活组合;通过 inference_patch.py 动态替换Control2WorldInference.__init__,无需侵入式修改官方源码; - Cosmos-Predict2.5:通过 monkey_patch.py 的
apply_all_patches()机制在导入阶段动态应用全部 NPU 适配补丁。
5.2 通用特性
- 支持
torchrun启动的多卡分布式推理; - 灵活的并行策略配置:标准上下文并行模式与 CFG+上下文并行组合模式可自由切换。
5.3 融合算子优化
| 优化项 | 替换前 | 替换后 | 落点 |
|---|---|---|---|
| Flash Attention | 标准 FlashAttention / flash_attn_2 | npu_fusion_attention(Predict2.5)或 F.scaled_dot_product_attention(Transfer2.5) |
qwen2_5_vl 文本编码器 |
| RMSNorm | 自定义实现 / te.pytorch.RMSNorm |
npu_rms_norm |
minimal_v4_dit 扩散主干 |
| Rotary 位置编码 | TE 的 apply_rotary_pos_emb |
npu_rotary_mul |
minimal_v4_dit 注意力模块 |
综上,本方案为 Cosmos 系列世界基础模型在昇腾 NPU 上的分布式推理提供了「并行策略可配置、算子路径可替换、环境适配可自动化」的完整参考实现,可直接复用于机器人操作、自动驾驶等具身智能场景的超长视频生成与多控制模态风格迁移任务。