MindSpeed-LLM 计算通信并行 CoC(Communication Over Computation)特性深度解析与实战指南

原创2026-10-13 19:00:561,867 阅读
文章标签:人工智能大模型分布式训练预训练微调强化学习LoRA深度学习AscendCANN

MindSpeed-LLM 计算通信并行 CoC(Communication Over Computation)特性深度解析与实战指南

导读

本文围绕昇腾分布式训练框架 MindSpeed-LLM 中的计算通信并行特性 CoC(Communication Over Computation)展开,详细剖析其解决的模型并行训练性能瓶颈、两种使能路径(Python 脚本侧切分与融合算子)的实现原理与参数配置,并结合仓库源码与真实测试脚本给出可直接复制的启动示例。读完本文,你将掌握 --use-ascend-coc 等参数的正确用法、适用场景与硬件兼容性边界,能够在自己基于 Megatron-Core 的预训练/微调任务中独立开启并验证该特性。

一、问题分析:计算与通信的顺序依赖如何拖慢大模型训练

在 Megatron 风格的张量并行(Tensor Parallelism)训练中,Transformer Block 内部的 ColumnParallelLinear 与 RowParallelLinear 是承载主要矩阵乘(Matmul)计算的模块。它们的前向/反向过程都存在相互毗邻、顺序依赖的计算-通信组合:

  • 不开序列并行(Sequence Parallel)时:张量并行线性层的前向/反向表现为「Matmul → AllReduce」的组合;
  • 开启序列并行时:通信模式演化为「AllGather + ReduceScatter」与 Matmul 的交替组合。

由于后一个算子的输入是前一个算子的输出,这类计算通信对在逻辑上天然存在顺序依赖,绝大多数实现都会将其串行执行。其直接后果是:在通信阶段计算单元空闲等待,在计算阶段通信链路空闲等待,计算流与通信流的利用率都没有被最大化。随着模型规模增长和卡数扩展,这种空闲等待在训练耗时中的占比愈发不可忽视,这正是 CoC 特性要解决的性能问题。

二、解决方案:子任务细粒度流水掩盖

CoC 的核心思路是把计算任务和通信任务分别拆分成更细粒度的子任务,让它们相互穿插执行,实现流水(pipeline)掩盖。MindSpeed-LLM 提供了两种落地实现路径:

2.1 Python 脚本侧实现

将张量进一步切分为 2 / 4 / 8 份子张量,通过 Python 脚本编排每个子 tensor 的计算与通信,使其在时间上交错重叠,从而增大计算流与通信流的利用率。

2.2 融合算子实现

基于 MTE(Memory Transfer Engine)远端内存访问能力,将计算和通信融合为一个大 Kernel,在算子实现内部将计算与通信拆分为更细粒度的子任务,实现相互流水掩盖。融合算子方式不需要 Python 侧反复调度,规避了脚本方式可能引入的 host 调度开销。

三、使用场景与适用条件

该特性目前主要用于训练场景,其适用前提可概括为两点:

  1. Attention 模块与 MLP 模块串行执行;
  2. 计算与通信片段存在顺序依赖且位置毗邻关系(即张量并行线性层中的 Matmul 与 AllReduce/AllGather/ReduceScatter 紧邻)。

两种实现方式各有附加约束:

维度 Python 脚本侧实现 融合算子实现
对 Matmul 左矩阵 m 轴的要求 必须是切分数(2/4/8)的倍数 无此限制
不适用场景 计算与通信片段耗时相差较大的情况 —
已知风险 切分矩阵数量较大时容易出现 host bound 问题,收益可能不及预期 —
支持的通信场景 ALL_REDUCE、ALL_GATHER、REDUCE_SCATTER 三种 见下文算子清单
先通信/先计算顺序 支持灵活配置 由算子固定

融合算子目前已支持的算子清单如下:

  1. MATMUL_ALL_REDUCE 融合算子(先计算后通信),支持确定性计算;
  2. MATMUL_REDUCE_SCATTER 融合算子(先计算后通信),支持确定性计算;
  3. ALL_GATHER_MATMUL、ALL_GATHER_MATMUL_V2 融合算子(先通信后计算),其中 V2 版本接口支持 ALL_GATHER 中间结果的获取;
  4. 量化场景:MATMUL_ALL_REDUCE 融合算子支持 fp16 格式下的 w8A16 伪量化,量化粒度包含 per tensor / per channel / per group。

四、使用方法:参数配置与两种使能路径

当前计算通信并行有两种实现方法——Python 脚本使能与融合算子使能,两者选其一即可。统一的开关参数为 --use-ascend-coc,通过在该参数基础上叠加不同变量来选择实现路径。

4.1 方式一:Python 脚本使能

在训练脚本中添加如下参数:

    --use-ascend-coc \
    --coc-parallel-num 2 # 或者4,或者8

其中 --coc-parallel-num 指定张量切分份数,取值为 2 / 4 / 8。切分份数越大,计算与通信子任务越细粒度,理论上掩盖效果越好,但也会放大 host 调度开销,实际选择需结合矩阵规模与硬件实测。

4.2 方式二:融合算子使能

注意:计算通信并行融合算子需要安装 ATB(Ascend Transformer Boost)后才能使用!

ATB 安装方法:

  • 二进制包安装:安装 CANN-NNAL 包之后,执行 source /usr/local/Ascend/nnal/atb/set_env.sh 即可完成环境配置。

在训练脚本中添加如下参数:

    --use-ascend-coc \
    --coc-fused-kernel # 注意:当前只支持TP=8的场景!

4.3 参数优先级

当同时使用 --coc-parallel-num > 1 与 --coc-fused-kernel 时,coc-fused-kernel 参数优先级更高,会覆盖 coc-parallel-num > 1,即最终按融合算子路径执行。

五、源码级实现佐证:CoC 如何在 MindSpeed-LLM 中生效

CoC 特性在 MindSpeed-LLM 中的注册与校验逻辑位于 features_manager/tensor_parallel/coc.py,其核心要点如下:

  • 参数校验:CoCFeature.validate_args 在调用上游 MindSpeed 校验之外,额外检查了 LoRA 兼容性——当同时指定 lora_target_modules 与 use_ascend_coc 时直接抛出 AssertionError('CoC is not compatible in lora training.'),从源码层面印证了 CoC 当前仅适用于全量训练场景;
  • 算子替换:CoCFeature.register_patches 在 use_ascend_coc 开启时,通过 patch_manager 将 Megatron-Core 的 ColumnParallelLinear 与 RowParallelLinear 分别替换为 MindSpeed 的 MindSpeedCoCColumnParallelLinear 与 MindSpeedCoCRowParallelLinear 实现,这正是 CoC 能拦截到每个线性层计算通信对并进行拆分的机制所在;
  • 特性注册:该特性在 features_manager/init.py 中被导入并加入特性列表,随训练框架初始化时统一生效;
  • 初始化时序:在 training/initialize.py 中,coc_registration_wrapper 会在主初始化流程完成后调用 initialize_coc_from_cfg(args),从命令行配置中完成 CoC 的运行时初始化。

需要说明的是,CoC 的底层核心实现(如 MindSpeedCoCColumnParallelLinear、initialize_coc_from_cfg 等)位于 MindSpeed 子模块中,上述 MindSpeed-LLM 侧代码承担的是特性装配、兼容性校验与入口调度职责。从该分层结构可以推断,用户只需在启动脚本中正确传入 CoC 相关参数,框架即可自动完成从参数解析到算子替换的完整链路。

六、完整可运行的实测示例

仓库中的测试脚本 tests/pipeline/legacy/llama2/llama2_tp8_pp1_coc_ptd.sh 给出了一个融合算子方式(TP=8、PP=1、开启序列并行)的完整实战配置,其关键参数如下:

    --tensor-model-parallel-size 8 \
    --pipeline-model-parallel-size 1 \
    --sequence-parallel \
    ...
    --use-ascend-coc \
    --coc-fused-kernel \

该脚本同时搭配了 --bf16、--use-flash-attn、--use-fused-swiglu、--overlap-grad-reduce、--use-distributed-optimizer 等常见训练优化项,可作为在实际环境中开启 CoC 融合算子路径的参考模板。另外在 tests/st/shell_scripts/qwen3_8b_tp2_pp4_vpp2.sh 中也可看到 --use-ascend-coc 的独立使能用法(未指定 coc-fused-kernel 时即走 Python 脚本切分路径)。

从这些测试用例可以归纳出两点实操经验:

  1. 融合算子路径必须以 TP=8 为前提,配合 --sequence-parallel 使用,此时 AllGather/ReduceScatter 的通信形态与算子能力完全匹配;
  2. 若想在非 TP=8 的组网(如 TP=2)下使用 CoC,则应只传 --use-ascend-coc 并配合 --coc-parallel-num 2/4/8,走 Python 脚本切分路径。

七、注意事项与兼容性边界

使用 CoC 特性前请确认以下约束:

  • 暂不兼容 --use-ascend-mc2 特性,两者不可同时开启;
  • 当前暂未适配 MoE 模型,稀疏专家模型场景请勿启用;
  • 硬件支持范围:Atlas A2 训练系列产品 / Atlas A3 训练系列产品完全支持此特性;Ascend 950PR&950DT 系列产品不支持融合算子(即仅可使用 Python 脚本路径);
  • 软件版本要求:HDK 支持 2024 年 RC2 之后版本,CANN 支持 2024 年 RC4 之后版本。

此外,结合源码校验逻辑,LoRA 训练与 CoC 不兼容(见 features_manager/tensor_parallel/coc.py),在实际使用中应避免在 --lora-target-modules 场景下开启该特性。

八、总结与选型建议

CoC 是 MindSpeed-LLM 面向昇腾硬件提供的计算通信并行优化手段,通过将 Matmul 与 AllReduce/AllGather/ReduceScatter 拆分为细粒度子任务并流水掩盖,消除张量并行线性层中的计算/通信空闲等待。选型时建议:

  • 优先评估融合算子路径(--use-ascend-coc --coc-fused-kernel),其规避了 host 调度开销,前提是 TP=8 且安装 ATB;
  • 非 TP=8 场景或无法安装 ATB 时,退而使用 Python 脚本切分路径(--use-ascend-coc --coc-parallel-num 2/4/8),注意 m 轴维度需为切分数的倍数,并警惕切分过大引发的 host bound 问题;
  • 在启用前逐一核对硬件型号(A2/A3 系列)、HDK(2024 RC2+)与 CANN(2024 RC4+)版本,并避免与 MC2、MoE、LoRA 等不兼容特性混用。

该特性的官方文档入口位于 docs/zh/pytorch/features/mcore/communication-over-computation.md,特性总览表可参考 docs/zh/pytorch/features/README.md。

登录后查看全文
MindSpeed-LLM