MindSpeed-LLM 计算通信并行 CoC(Communication Over Computation)特性深度解析与实战指南
MindSpeed-LLM 计算通信并行 CoC(Communication Over Computation)特性深度解析与实战指南
导读
本文围绕昇腾分布式训练框架 MindSpeed-LLM 中的计算通信并行特性 CoC(Communication Over Computation)展开,详细剖析其解决的模型并行训练性能瓶颈、两种使能路径(Python 脚本侧切分与融合算子)的实现原理与参数配置,并结合仓库源码与真实测试脚本给出可直接复制的启动示例。读完本文,你将掌握 --use-ascend-coc 等参数的正确用法、适用场景与硬件兼容性边界,能够在自己基于 Megatron-Core 的预训练/微调任务中独立开启并验证该特性。
一、问题分析:计算与通信的顺序依赖如何拖慢大模型训练
在 Megatron 风格的张量并行(Tensor Parallelism)训练中,Transformer Block 内部的 ColumnParallelLinear 与 RowParallelLinear 是承载主要矩阵乘(Matmul)计算的模块。它们的前向/反向过程都存在相互毗邻、顺序依赖的计算-通信组合:
- 不开序列并行(Sequence Parallel)时:张量并行线性层的前向/反向表现为「Matmul → AllReduce」的组合;
- 开启序列并行时:通信模式演化为「AllGather + ReduceScatter」与 Matmul 的交替组合。
由于后一个算子的输入是前一个算子的输出,这类计算通信对在逻辑上天然存在顺序依赖,绝大多数实现都会将其串行执行。其直接后果是:在通信阶段计算单元空闲等待,在计算阶段通信链路空闲等待,计算流与通信流的利用率都没有被最大化。随着模型规模增长和卡数扩展,这种空闲等待在训练耗时中的占比愈发不可忽视,这正是 CoC 特性要解决的性能问题。
二、解决方案:子任务细粒度流水掩盖
CoC 的核心思路是把计算任务和通信任务分别拆分成更细粒度的子任务,让它们相互穿插执行,实现流水(pipeline)掩盖。MindSpeed-LLM 提供了两种落地实现路径:
2.1 Python 脚本侧实现
将张量进一步切分为 2 / 4 / 8 份子张量,通过 Python 脚本编排每个子 tensor 的计算与通信,使其在时间上交错重叠,从而增大计算流与通信流的利用率。
2.2 融合算子实现
基于 MTE(Memory Transfer Engine)远端内存访问能力,将计算和通信融合为一个大 Kernel,在算子实现内部将计算与通信拆分为更细粒度的子任务,实现相互流水掩盖。融合算子方式不需要 Python 侧反复调度,规避了脚本方式可能引入的 host 调度开销。
三、使用场景与适用条件
该特性目前主要用于训练场景,其适用前提可概括为两点:
- Attention 模块与 MLP 模块串行执行;
- 计算与通信片段存在顺序依赖且位置毗邻关系(即张量并行线性层中的 Matmul 与 AllReduce/AllGather/ReduceScatter 紧邻)。
两种实现方式各有附加约束:
| 维度 | Python 脚本侧实现 | 融合算子实现 |
|---|---|---|
| 对 Matmul 左矩阵 m 轴的要求 | 必须是切分数(2/4/8)的倍数 | 无此限制 |
| 不适用场景 | 计算与通信片段耗时相差较大的情况 | — |
| 已知风险 | 切分矩阵数量较大时容易出现 host bound 问题,收益可能不及预期 | — |
| 支持的通信场景 | ALL_REDUCE、ALL_GATHER、REDUCE_SCATTER 三种 | 见下文算子清单 |
| 先通信/先计算顺序 | 支持灵活配置 | 由算子固定 |
融合算子目前已支持的算子清单如下:
- MATMUL_ALL_REDUCE 融合算子(先计算后通信),支持确定性计算;
- MATMUL_REDUCE_SCATTER 融合算子(先计算后通信),支持确定性计算;
- ALL_GATHER_MATMUL、ALL_GATHER_MATMUL_V2 融合算子(先通信后计算),其中 V2 版本接口支持 ALL_GATHER 中间结果的获取;
- 量化场景:MATMUL_ALL_REDUCE 融合算子支持 fp16 格式下的 w8A16 伪量化,量化粒度包含 per tensor / per channel / per group。
四、使用方法:参数配置与两种使能路径
当前计算通信并行有两种实现方法——Python 脚本使能与融合算子使能,两者选其一即可。统一的开关参数为 --use-ascend-coc,通过在该参数基础上叠加不同变量来选择实现路径。
4.1 方式一:Python 脚本使能
在训练脚本中添加如下参数:
--use-ascend-coc \
--coc-parallel-num 2 # 或者4,或者8
其中 --coc-parallel-num 指定张量切分份数,取值为 2 / 4 / 8。切分份数越大,计算与通信子任务越细粒度,理论上掩盖效果越好,但也会放大 host 调度开销,实际选择需结合矩阵规模与硬件实测。
4.2 方式二:融合算子使能
注意:计算通信并行融合算子需要安装 ATB(Ascend Transformer Boost)后才能使用!
ATB 安装方法:
- 二进制包安装:安装 CANN-NNAL 包之后,执行
source /usr/local/Ascend/nnal/atb/set_env.sh即可完成环境配置。
在训练脚本中添加如下参数:
--use-ascend-coc \
--coc-fused-kernel # 注意:当前只支持TP=8的场景!
4.3 参数优先级
当同时使用 --coc-parallel-num > 1 与 --coc-fused-kernel 时,coc-fused-kernel 参数优先级更高,会覆盖 coc-parallel-num > 1,即最终按融合算子路径执行。
五、源码级实现佐证:CoC 如何在 MindSpeed-LLM 中生效
CoC 特性在 MindSpeed-LLM 中的注册与校验逻辑位于 features_manager/tensor_parallel/coc.py,其核心要点如下:
- 参数校验:
CoCFeature.validate_args在调用上游 MindSpeed 校验之外,额外检查了 LoRA 兼容性——当同时指定lora_target_modules与use_ascend_coc时直接抛出AssertionError('CoC is not compatible in lora training.'),从源码层面印证了 CoC 当前仅适用于全量训练场景; - 算子替换:
CoCFeature.register_patches在use_ascend_coc开启时,通过 patch_manager 将 Megatron-Core 的ColumnParallelLinear与RowParallelLinear分别替换为 MindSpeed 的MindSpeedCoCColumnParallelLinear与MindSpeedCoCRowParallelLinear实现,这正是 CoC 能拦截到每个线性层计算通信对并进行拆分的机制所在; - 特性注册:该特性在 features_manager/init.py 中被导入并加入特性列表,随训练框架初始化时统一生效;
- 初始化时序:在 training/initialize.py 中,
coc_registration_wrapper会在主初始化流程完成后调用initialize_coc_from_cfg(args),从命令行配置中完成 CoC 的运行时初始化。
需要说明的是,CoC 的底层核心实现(如 MindSpeedCoCColumnParallelLinear、initialize_coc_from_cfg 等)位于 MindSpeed 子模块中,上述 MindSpeed-LLM 侧代码承担的是特性装配、兼容性校验与入口调度职责。从该分层结构可以推断,用户只需在启动脚本中正确传入 CoC 相关参数,框架即可自动完成从参数解析到算子替换的完整链路。
六、完整可运行的实测示例
仓库中的测试脚本 tests/pipeline/legacy/llama2/llama2_tp8_pp1_coc_ptd.sh 给出了一个融合算子方式(TP=8、PP=1、开启序列并行)的完整实战配置,其关键参数如下:
--tensor-model-parallel-size 8 \
--pipeline-model-parallel-size 1 \
--sequence-parallel \
...
--use-ascend-coc \
--coc-fused-kernel \
该脚本同时搭配了 --bf16、--use-flash-attn、--use-fused-swiglu、--overlap-grad-reduce、--use-distributed-optimizer 等常见训练优化项,可作为在实际环境中开启 CoC 融合算子路径的参考模板。另外在 tests/st/shell_scripts/qwen3_8b_tp2_pp4_vpp2.sh 中也可看到 --use-ascend-coc 的独立使能用法(未指定 coc-fused-kernel 时即走 Python 脚本切分路径)。
从这些测试用例可以归纳出两点实操经验:
- 融合算子路径必须以 TP=8 为前提,配合
--sequence-parallel使用,此时 AllGather/ReduceScatter 的通信形态与算子能力完全匹配; - 若想在非 TP=8 的组网(如 TP=2)下使用 CoC,则应只传
--use-ascend-coc并配合--coc-parallel-num 2/4/8,走 Python 脚本切分路径。
七、注意事项与兼容性边界
使用 CoC 特性前请确认以下约束:
- 暂不兼容
--use-ascend-mc2特性,两者不可同时开启; - 当前暂未适配 MoE 模型,稀疏专家模型场景请勿启用;
- 硬件支持范围:Atlas A2 训练系列产品 / Atlas A3 训练系列产品完全支持此特性;Ascend 950PR&950DT 系列产品不支持融合算子(即仅可使用 Python 脚本路径);
- 软件版本要求:HDK 支持 2024 年 RC2 之后版本,CANN 支持 2024 年 RC4 之后版本。
此外,结合源码校验逻辑,LoRA 训练与 CoC 不兼容(见 features_manager/tensor_parallel/coc.py),在实际使用中应避免在 --lora-target-modules 场景下开启该特性。
八、总结与选型建议
CoC 是 MindSpeed-LLM 面向昇腾硬件提供的计算通信并行优化手段,通过将 Matmul 与 AllReduce/AllGather/ReduceScatter 拆分为细粒度子任务并流水掩盖,消除张量并行线性层中的计算/通信空闲等待。选型时建议:
- 优先评估融合算子路径(
--use-ascend-coc --coc-fused-kernel),其规避了 host 调度开销,前提是 TP=8 且安装 ATB; - 非 TP=8 场景或无法安装 ATB 时,退而使用 Python 脚本切分路径(
--use-ascend-coc --coc-parallel-num 2/4/8),注意 m 轴维度需为切分数的倍数,并警惕切分过大引发的 host bound 问题; - 在启用前逐一核对硬件型号(A2/A3 系列)、HDK(2024 RC2+)与 CANN(2024 RC4+)版本,并避免与 MC2、MoE、LoRA 等不兼容特性混用。
该特性的官方文档入口位于 docs/zh/pytorch/features/mcore/communication-over-computation.md,特性总览表可参考 docs/zh/pytorch/features/README.md。