CANN ops-math 算子解析:FusedMulAddN 融合算子的数学原理、参数规格与图模式调用实战
CANN ops-math 算子解析:FusedMulAddN 融合算子的数学原理、参数规格与图模式调用实战
导读
本文围绕 CANN ops-math 数学算子库中的 FusedMulAddN 算子展开,完整介绍其将 Mul 与 AddN 融合为一个算子的设计动机、数学公式、参数规格与产品支持情况,并结合仓库源码深入剖析其在 host 侧(算子定义、shape 推导、tiling)与 kernel 侧(向量计算实现)的底层实现原理,最后通过图模式调用示例与测试用例给出可复现的实战路径。读完本文,你将掌握 FusedMulAddN 的完整调用方式,并理解它在 NPU 上如何通过算子融合减少 kernel 启动与访存开销。
一、算子功能与数学原理
FusedMulAddN 是 CANN ops-math 中面向 NPU 加速的一个融合算子:它将 mul 和 addn 两个算子的计算融合进单个 kernel。根据 math/fused_mul_add_n/README.md 的功能说明,其融合约束为:
addn的输入个数n必须为 2;mul的其中一个输入必须是 scalar(标量)或只包含一个数的 tensor(即 shape 元素个数为 1)。
算子的计算公式为:
即先取 x3 的唯一元素 x3[0] 作为乘数,对 x1 逐元素做乘法,再与 x2 逐元素相加,得到输出 y。该结构常见于网络中的"乘加"组合(例如缩放加偏置、门控线性单元的简化形式等),融合后可避免中间张量的落地与额外的 kernel 调度开销。
二、产品支持情况
原文档给出的支持矩阵如下:
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | √ |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | × |
| Atlas 推理系列产品 | × |
| Atlas 训练系列产品 | √ |
该支持矩阵在构建配置中可以得到印证:math/fused_mul_add_n/CMakeLists.txt 中声明:
set(SUPPORT_COMPUTE_UNIT "ascend310p" "ascend910_93" "ascend910b" "ascend950")
set(SUPPORT_TILING_DIR "arch22" "arch22" "arch22" "arch35")
其中 ascend950 对应的 tiling 目录为 arch35,即当前仓库中 op_host 与 op_kernel 目录下 arch35/ 子目录的实现即为 Ascend 950(Arch35)架构的落地实现。从目录结构看,当前仓库的 kernel 与 tiling 实现主要面向 arch35(ascend950)维护,其他产品(如 Atlas A2 等)的支持由外部构建流程依据各自的 tiling 目录加载,具体请以实际安装的 CANN 版本与产品为准。
三、参数规格详解
3.1 参数总表
原文档对 FusedMulAddN 的 4 个参数规格定义如下:
| 参数名 | 输入/输出/属性 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| x1 | 输入 | 公式中的输入 x1 | INT16, INT32, FLOAT, FLOAT16, BFLOAT16 | ND |
| x2 | 输入 | 公式中的输入 x2 | INT16, INT32, FLOAT, FLOAT16, BFLOAT16 | ND |
| x3 | 输入 | 公式中的输入 x3 | INT16, INT32, FLOAT, FLOAT16, BFLOAT16 | ND |
| y | 输出 | 公式中的 y | INT16, INT32, FLOAT, FLOAT16, BFLOAT16 | ND |
3.2 源码层的规格约束
上述规格在多个源码文件中被一致声明:
- 算子 IR(Graph IR 侧):math/fused_mul_add_n/op_graph/fused_mul_add_n_proto.h 使用
REG_OP(FusedMulAddN)声明三个输入与一个输出,数据类型均为{DT_FLOAT, DT_FLOAT16, DT_INT32, DT_INT16, DT_BF16},并在注释中明确约束:- x1:ND 格式 tensor,用于与 x2 做 addn;
- x2:与 x1 同 dtype 同 shape,用于与 x1 做 addn;
- x3:与 x1 同 dtype,shape 元素个数必须为 1,用于对
x1 + x2的结果做 mul; - y:ND 格式,与 x1 同 dtype 同 shape。
- 同时标注
Warning: THIS FUNCTION IS EXPERIMENTAL. Please do not use.,即该算子当前属于实验性算子,正式接入业务前需评估风险。
- 算子定义(host 侧):math/fused_mul_add_n/op_host/fused_mul_add_n_def.cpp 通过
OpDef注册相同的 Input/Output 数据类型与FORMAT_ND格式,并声明了DynamicRankSupportFlag(true)、DynamicShapeSupportFlag(true)、PrecisionReduceFlag(true)等动态能力。 - 二进制配置:
op_host/config/ascend950/下的 fused_mul_add_n_binary.json 为 bfloat16/float16/float32/int32/int16 五种 dtype 分别生成了二进制清单项,shape 标记为-2(动态 shape),格式为 ND,format_match_mode为FormatAgnostic。
3.3 运行期校验规则
tiling 阶段(host 侧)会对规格进行强校验,见 fused_mul_add_n_tiling_arch35.cpp:
- dtype 一致性:
GetShapeAttrsInfo()检查 x1/x2/x3/y 四者的 dtype 必须完全相同,且仅允许 FLOAT、FLOAT16、INT32、INT16、BF16 五类,否则记录错误日志并返回GRAPH_FAILED。 - shape 一致性:
DoOpTiling()要求shapeX1 == shapeX2(x1 与 x2 的存储 shape 必须一致),否则报错。 - x3 元素数:要求
shapeX3.GetShapeSize() == 1,即 x3 必须是 scalar 或只含一个元素的 tensor,否则报错。
因此在实际使用时,应保证 x1 与 x2 同 shape 同 dtype,x3 为单元素输入,四个参数 dtype 统一。
四、图模式调用示例
原文档提供的调用方式为图模式调用:通过算子 IR 构图调用 FusedMulAddN 算子。示例程序位于 test_geir_fused_mul_add_n.cpp,核心流程如下:
#include "graph.h"
#include "types.h"
#include "tensor.h"
#include "ge_api.h"
#include "array_ops.h"
#include "ge_ir_build.h"
#include "experiment_ops.h"
#include "nn_other.h"
#include "../op_graph/fused_mul_add_n_proto.h"
- 初始化 GE:设置
ge.exec.deviceId=0、ge.graphRunMode=1等全局选项并调用ge::GEInitialize(global_options); - 构图:创建
ge::Graph graph("tc_ge_irrun_test"),通过op::FusedMulAddN("fusedMulAddn")创建算子节点; - 添加输入:示例中 x1、x2 的 shape 为
{2, 2},x3 的 shape 为{1, 1}(满足单元素约束),输出 y 的 shape 为{4, 4};输入通过op::Data占位节点构造,x3 也可用op::Const常量节点携带value属性(示例中提供了ADD_CONST_INPUT宏); - 挂接输入输出:调用
fusedMulAddn.set_input_x1(...)等接口绑定输入,update_output_desc_y(...)声明输出 desc,最后graph.SetInputs(inputs).SetOutputs(outputs); - 运行:创建
ge::Session,session->AddGraph(graph_id, graph, graph_options)后调用session->RunGraph(graph_id, input, output); - 落盘结果:将输入输出 tensor 以
tc_ge_irrun_test_0008_npu_input_i.bin/_output_i.bin命名写入当前目录,便于后续与 golden 结果比对。
注意:示例中用于生成输入数据的 GenOnesDataFloat32/GenOnesData 会将输入填充为全 2,x3 为 {1,1} 的单元素 tensor,因此按公式 y = x1 * x3[0] + x2 可直接手算验证输出。
五、底层实现原理(源码级剖析)
5.1 Shape 推导:复用 Elewise 公共推导
math/fused_mul_add_n/op_host/fused_mul_add_n_infershape.cpp 将 shape 推导委托给公共工具:
IMPL_OP_INFERSHAPE(FusedMulAddN).InferShape(InferShape4Elewise);
InferShape4Elewise 是 ops-math 中 elementwise 类算子共用的广播推导逻辑,其对应的单元测试位于 tests/ut/op_host/test_fused_mul_add_n_infershape.cpp,覆盖了动态 shape({-1,-1})、标量输入以及不同 shape 的广播场景。
5.2 Tiling:平台信息 + Elewise 通用 tiling
tiling 类 FusedMulAddNTiling(fused_mul_add_n_tiling_arch35.h)继承自 Ops::Base::TilingBaseClass,其关键步骤:
- 获取平台信息:
GetPlatformInfo()通过PlatformAscendC获取 AIV 核数(GetCoreNumAiv())与 UB 内存大小(GetCoreMemSize(CoreMemType::UB, ...)),或从编译期信息FusedMulAddNCompileInfo读取; - dtype → opKey:
SetOpKey()将五种 dtype 组合映射为 1~5 号 key,GetOpKey()校验四参数 dtype 一致并查表,非法 dtype 组合返回OP_KEY_INVALID并报错; - 计算参数映射:
GetComputeMap()按 opKey 返回ComputeParams:- FLOAT/INT32:
maxDtypeBits=minDtypeBits=32,bufferDivisor=192; - FLOAT16/BF16:
maxDtypeBits=32、minDtypeBits=16(half 路径计算时提升到 float32 再回写),bufferDivisor=96; - INT16:
maxDtypeBits=minDtypeBits=16,bufferDivisor=96;
- FLOAT/INT32:
- 执行 ElewiseTiling:填充
ElewiseTilingParams(shape、computeMap、coreNum、ubSize)后调用公共ElewiseTiling,产出blockNum、ubFormer、ubLoopOfFormerBlock、ubLoopOfTailBlock、ubTailOfFormerBlock、ubTailOfTailBlock、elemNum等分块参数; - 生成 tiling key:
GenerateTilingKey(innerKey) = opKey * OP_KEY_OFFSET + innerKey,与 kernel 侧TILING_KEY_IS宏对应; - PostTiling:设置 tiling key、
SetBlockDim(blockNum)、申请 32 字节 workspace,并将 tiling 数据序列化写入 raw tiling buffer。
5.3 Kernel:按 tiling key 分发、双路径实现
kernel 入口 fused_mul_add_n_apt.cpp 为 __global__ __aicore__ 函数,if (g_coreType == AscendC::AIC) return; 表示仅 AIV 核参与计算。五种 dtype 对应五个 tiling key 宏(如 FUSED_MUL_ADD_F32_TILING_KEY 100000000000100),入口据此实例化不同的计算类:
- FLOAT / INT32 / INT16:使用模板类
FusedMulAddN<T>(arch35/fused_mul_add_n.h),直接用Reg::Muls(乘标量)与Reg::Add完成y = x1 * x3[0] + x2; - FLOAT16 / BF16:使用
FusedMulAddNHalf<T>(arch35/fused_mul_add_n_half.h),为保证精度先将 half/bfloat16 通过Cast<float, T, castTrait0>提升为 float32 计算,乘加完成后再Cast<T, float, castTrait1>(CAST_RINT舍入模式)转回原 dtype 写出。
两条实现的核心数据流一致,均为标准的 CopyIn → Compute → CopyOut 流水:
Init():将 x3 的唯一元素读入寄存器inputX3Value_,并申请三块双缓冲(DOUBLE_BUFFER=2)UB 队列queIn0_/queIn1_/queOut0_,缓冲区大小为elemNum * sizeof(T);Process():按块号判定当前核是普通块还是尾块,读取对应的循环次数(ubLoopOfFormerBlock/ubLoopOfTailBlock)与尾部元素数(ubTailOfFormerBlock/ubTailOfTailBlock),逐轮执行CopyIn0 → CopyIn1 → Compute2 → CopyOut3;CopyIn0/CopyIn1:使用DataCopyPad从 GM 按blockFormer * blockIdx + ubLoopIdx * ubFormer的偏移搬运 x1、x2 分片到 UB;Compute2:在__VEC_SCOPE__中按向量寄存器宽度分轮,UpdateMask<T>(size)处理尾部掩码,LoadAlign加载、Muls乘 x3 标量、Add相加、StoreAlign写回 UB;CopyOut3:DataCopyPad将结果按相同偏移写回 GM 输出 y。
六、测试与正确性验证
仓库为 FusedMulAddN 提供了 host 侧与 kernel 侧的多层验证:
- Golden 参考实现:tests/assets/golden.py 用 NumPy 精确复现算子语义:对 float16/bfloat16 先提升到 float32,再
numpy.multiply(x1, x3)与numpy.add(muls, x2),最后astype(dtype)回写,与 kernel 的 half 路径策略一致; - infershape 单元测试:tests/ut/op_host/test_fused_mul_add_n_infershape.cpp 验证动态 shape 推导与广播输出 shape;
- tiling 单元测试:tests/ut/op_host/arch35/test_fused_mul_add_n_tiling_arch35.cpp 验证 tiling 数据生成;
- ST 用例:tests/st/arch35/ttk_kernel_fused_mul_add_n_st.csv 配置 arch35 平台上的 kernel 级 ST 用例,可通过 golden.py 进行数值比对。
七、总结与使用建议
FusedMulAddN 通过将"标量乘 + 加法"融合为单个 kernel,在 NPU 上省去了中间结果落盘与多次 kernel 启动的开销。使用时请重点遵守三点约束:
- x1 与 x2 必须同 shape、同 dtype;
- x3 必须为单元素输入(scalar 或 shape 元素数为 1 的 tensor);
- x1/x2/x3/y 四者的 dtype 必须一致,且仅限 INT16、INT32、FLOAT、FLOAT16、BFLOAT16。
从源码结构看,该算子当前在仓库中以 arch35(Ascend 950)为完整实现基线,且 IR 定义标注为实验性算子,建议在业务接入前结合实际产品版本与精度要求充分验证。