CANN ops-math 算子解析:FusedMulAddN 融合算子的数学原理、参数规格与图模式调用实战

原创2026-09-19 10:57:271,615 阅读
文章标签:算子库人工智能深度学习高性能计算CANNAscend

CANN ops-math 算子解析:FusedMulAddN 融合算子的数学原理、参数规格与图模式调用实战

导读

本文围绕 CANN ops-math 数学算子库中的 FusedMulAddN 算子展开,完整介绍其将 Mul 与 AddN 融合为一个算子的设计动机、数学公式、参数规格与产品支持情况,并结合仓库源码深入剖析其在 host 侧(算子定义、shape 推导、tiling)与 kernel 侧(向量计算实现)的底层实现原理,最后通过图模式调用示例与测试用例给出可复现的实战路径。读完本文,你将掌握 FusedMulAddN 的完整调用方式,并理解它在 NPU 上如何通过算子融合减少 kernel 启动与访存开销。

一、算子功能与数学原理

FusedMulAddN 是 CANN ops-math 中面向 NPU 加速的一个融合算子:它将 mul 和 addn 两个算子的计算融合进单个 kernel。根据 math/fused_mul_add_n/README.md 的功能说明,其融合约束为:

  • addn 的输入个数 n 必须为 2;
  • mul 的其中一个输入必须是 scalar(标量)或只包含一个数的 tensor(即 shape 元素个数为 1)。

算子的计算公式为:

yi=x1i×x3[0]+x2iy_i = x1_i \times x3[0] + x2_i

即先取 x3 的唯一元素 x3[0] 作为乘数,对 x1 逐元素做乘法,再与 x2 逐元素相加,得到输出 y。该结构常见于网络中的"乘加"组合(例如缩放加偏置、门控线性单元的简化形式等),融合后可避免中间张量的落地与额外的 kernel 调度开销。

二、产品支持情况

原文档给出的支持矩阵如下:

产品 是否支持
Ascend 950PR/Ascend 950DT √
Atlas A3 训练系列产品/Atlas A3 推理系列产品 √
Atlas A2 训练系列产品/Atlas A2 推理系列产品 √
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品 ×
Atlas 训练系列产品 √

该支持矩阵在构建配置中可以得到印证:math/fused_mul_add_n/CMakeLists.txt 中声明:

set(SUPPORT_COMPUTE_UNIT "ascend310p" "ascend910_93" "ascend910b" "ascend950")
set(SUPPORT_TILING_DIR "arch22" "arch22" "arch22" "arch35")

其中 ascend950 对应的 tiling 目录为 arch35,即当前仓库中 op_host 与 op_kernel 目录下 arch35/ 子目录的实现即为 Ascend 950(Arch35)架构的落地实现。从目录结构看,当前仓库的 kernel 与 tiling 实现主要面向 arch35(ascend950)维护,其他产品(如 Atlas A2 等)的支持由外部构建流程依据各自的 tiling 目录加载,具体请以实际安装的 CANN 版本与产品为准。

三、参数规格详解

3.1 参数总表

原文档对 FusedMulAddN 的 4 个参数规格定义如下:

参数名 输入/输出/属性 描述 数据类型 数据格式
x1 输入 公式中的输入 x1 INT16, INT32, FLOAT, FLOAT16, BFLOAT16 ND
x2 输入 公式中的输入 x2 INT16, INT32, FLOAT, FLOAT16, BFLOAT16 ND
x3 输入 公式中的输入 x3 INT16, INT32, FLOAT, FLOAT16, BFLOAT16 ND
y 输出 公式中的 y INT16, INT32, FLOAT, FLOAT16, BFLOAT16 ND

3.2 源码层的规格约束

上述规格在多个源码文件中被一致声明:

  • 算子 IR(Graph IR 侧):math/fused_mul_add_n/op_graph/fused_mul_add_n_proto.h 使用 REG_OP(FusedMulAddN) 声明三个输入与一个输出,数据类型均为 {DT_FLOAT, DT_FLOAT16, DT_INT32, DT_INT16, DT_BF16},并在注释中明确约束:
    • x1:ND 格式 tensor,用于与 x2 做 addn;
    • x2:与 x1 同 dtype 同 shape,用于与 x1 做 addn;
    • x3:与 x1 同 dtype,shape 元素个数必须为 1,用于对 x1 + x2 的结果做 mul;
    • y:ND 格式,与 x1 同 dtype 同 shape。
    • 同时标注 Warning: THIS FUNCTION IS EXPERIMENTAL. Please do not use.,即该算子当前属于实验性算子,正式接入业务前需评估风险。
  • 算子定义(host 侧):math/fused_mul_add_n/op_host/fused_mul_add_n_def.cpp 通过 OpDef 注册相同的 Input/Output 数据类型与 FORMAT_ND 格式,并声明了 DynamicRankSupportFlag(true)、DynamicShapeSupportFlag(true)、PrecisionReduceFlag(true) 等动态能力。
  • 二进制配置:op_host/config/ascend950/ 下的 fused_mul_add_n_binary.json 为 bfloat16/float16/float32/int32/int16 五种 dtype 分别生成了二进制清单项,shape 标记为 -2(动态 shape),格式为 ND,format_match_mode 为 FormatAgnostic。

3.3 运行期校验规则

tiling 阶段(host 侧)会对规格进行强校验,见 fused_mul_add_n_tiling_arch35.cpp:

  • dtype 一致性:GetShapeAttrsInfo() 检查 x1/x2/x3/y 四者的 dtype 必须完全相同,且仅允许 FLOAT、FLOAT16、INT32、INT16、BF16 五类,否则记录错误日志并返回 GRAPH_FAILED。
  • shape 一致性:DoOpTiling() 要求 shapeX1 == shapeX2(x1 与 x2 的存储 shape 必须一致),否则报错。
  • x3 元素数:要求 shapeX3.GetShapeSize() == 1,即 x3 必须是 scalar 或只含一个元素的 tensor,否则报错。

因此在实际使用时,应保证 x1 与 x2 同 shape 同 dtype,x3 为单元素输入,四个参数 dtype 统一。

四、图模式调用示例

原文档提供的调用方式为图模式调用:通过算子 IR 构图调用 FusedMulAddN 算子。示例程序位于 test_geir_fused_mul_add_n.cpp,核心流程如下:

#include "graph.h"
#include "types.h"
#include "tensor.h"
#include "ge_api.h"
#include "array_ops.h"
#include "ge_ir_build.h"
#include "experiment_ops.h"
#include "nn_other.h"
#include "../op_graph/fused_mul_add_n_proto.h"
  1. 初始化 GE:设置 ge.exec.deviceId=0、ge.graphRunMode=1 等全局选项并调用 ge::GEInitialize(global_options);
  2. 构图:创建 ge::Graph graph("tc_ge_irrun_test"),通过 op::FusedMulAddN("fusedMulAddn") 创建算子节点;
  3. 添加输入:示例中 x1、x2 的 shape 为 {2, 2},x3 的 shape 为 {1, 1}(满足单元素约束),输出 y 的 shape 为 {4, 4};输入通过 op::Data 占位节点构造,x3 也可用 op::Const 常量节点携带 value 属性(示例中提供了 ADD_CONST_INPUT 宏);
  4. 挂接输入输出:调用 fusedMulAddn.set_input_x1(...) 等接口绑定输入,update_output_desc_y(...) 声明输出 desc,最后 graph.SetInputs(inputs).SetOutputs(outputs);
  5. 运行:创建 ge::Session,session->AddGraph(graph_id, graph, graph_options) 后调用 session->RunGraph(graph_id, input, output);
  6. 落盘结果:将输入输出 tensor 以 tc_ge_irrun_test_0008_npu_input_i.bin / _output_i.bin 命名写入当前目录,便于后续与 golden 结果比对。

注意:示例中用于生成输入数据的 GenOnesDataFloat32/GenOnesData 会将输入填充为全 2,x3 为 {1,1} 的单元素 tensor,因此按公式 y = x1 * x3[0] + x2 可直接手算验证输出。

五、底层实现原理(源码级剖析)

5.1 Shape 推导:复用 Elewise 公共推导

math/fused_mul_add_n/op_host/fused_mul_add_n_infershape.cpp 将 shape 推导委托给公共工具:

IMPL_OP_INFERSHAPE(FusedMulAddN).InferShape(InferShape4Elewise);

InferShape4Elewise 是 ops-math 中 elementwise 类算子共用的广播推导逻辑,其对应的单元测试位于 tests/ut/op_host/test_fused_mul_add_n_infershape.cpp,覆盖了动态 shape({-1,-1})、标量输入以及不同 shape 的广播场景。

5.2 Tiling:平台信息 + Elewise 通用 tiling

tiling 类 FusedMulAddNTiling(fused_mul_add_n_tiling_arch35.h)继承自 Ops::Base::TilingBaseClass,其关键步骤:

  1. 获取平台信息:GetPlatformInfo() 通过 PlatformAscendC 获取 AIV 核数(GetCoreNumAiv())与 UB 内存大小(GetCoreMemSize(CoreMemType::UB, ...)),或从编译期信息 FusedMulAddNCompileInfo 读取;
  2. dtype → opKey:SetOpKey() 将五种 dtype 组合映射为 1~5 号 key,GetOpKey() 校验四参数 dtype 一致并查表,非法 dtype 组合返回 OP_KEY_INVALID 并报错;
  3. 计算参数映射:GetComputeMap() 按 opKey 返回 ComputeParams:
    • FLOAT/INT32:maxDtypeBits=minDtypeBits=32,bufferDivisor=192;
    • FLOAT16/BF16:maxDtypeBits=32、minDtypeBits=16(half 路径计算时提升到 float32 再回写),bufferDivisor=96;
    • INT16:maxDtypeBits=minDtypeBits=16,bufferDivisor=96;
  4. 执行 ElewiseTiling:填充 ElewiseTilingParams(shape、computeMap、coreNum、ubSize)后调用公共 ElewiseTiling,产出 blockNum、ubFormer、ubLoopOfFormerBlock、ubLoopOfTailBlock、ubTailOfFormerBlock、ubTailOfTailBlock、elemNum 等分块参数;
  5. 生成 tiling key:GenerateTilingKey(innerKey) = opKey * OP_KEY_OFFSET + innerKey,与 kernel 侧 TILING_KEY_IS 宏对应;
  6. PostTiling:设置 tiling key、SetBlockDim(blockNum)、申请 32 字节 workspace,并将 tiling 数据序列化写入 raw tiling buffer。

5.3 Kernel:按 tiling key 分发、双路径实现

kernel 入口 fused_mul_add_n_apt.cpp 为 __global__ __aicore__ 函数,if (g_coreType == AscendC::AIC) return; 表示仅 AIV 核参与计算。五种 dtype 对应五个 tiling key 宏(如 FUSED_MUL_ADD_F32_TILING_KEY 100000000000100),入口据此实例化不同的计算类:

  • FLOAT / INT32 / INT16:使用模板类 FusedMulAddN<T>(arch35/fused_mul_add_n.h),直接用 Reg::Muls(乘标量)与 Reg::Add 完成 y = x1 * x3[0] + x2;
  • FLOAT16 / BF16:使用 FusedMulAddNHalf<T>(arch35/fused_mul_add_n_half.h),为保证精度先将 half/bfloat16 通过 Cast<float, T, castTrait0> 提升为 float32 计算,乘加完成后再 Cast<T, float, castTrait1>(CAST_RINT 舍入模式)转回原 dtype 写出。

两条实现的核心数据流一致,均为标准的 CopyIn → Compute → CopyOut 流水:

  1. Init():将 x3 的唯一元素读入寄存器 inputX3Value_,并申请三块双缓冲(DOUBLE_BUFFER=2)UB 队列 queIn0_/queIn1_/queOut0_,缓冲区大小为 elemNum * sizeof(T);
  2. Process():按块号判定当前核是普通块还是尾块,读取对应的循环次数(ubLoopOfFormerBlock / ubLoopOfTailBlock)与尾部元素数(ubTailOfFormerBlock / ubTailOfTailBlock),逐轮执行 CopyIn0 → CopyIn1 → Compute2 → CopyOut3;
  3. CopyIn0/CopyIn1:使用 DataCopyPad 从 GM 按 blockFormer * blockIdx + ubLoopIdx * ubFormer 的偏移搬运 x1、x2 分片到 UB;
  4. Compute2:在 __VEC_SCOPE__ 中按向量寄存器宽度分轮,UpdateMask<T>(size) 处理尾部掩码,LoadAlign 加载、Muls 乘 x3 标量、Add 相加、StoreAlign 写回 UB;
  5. CopyOut3:DataCopyPad 将结果按相同偏移写回 GM 输出 y。

六、测试与正确性验证

仓库为 FusedMulAddN 提供了 host 侧与 kernel 侧的多层验证:

七、总结与使用建议

FusedMulAddN 通过将"标量乘 + 加法"融合为单个 kernel,在 NPU 上省去了中间结果落盘与多次 kernel 启动的开销。使用时请重点遵守三点约束:

  1. x1 与 x2 必须同 shape、同 dtype;
  2. x3 必须为单元素输入(scalar 或 shape 元素数为 1 的 tensor);
  3. x1/x2/x3/y 四者的 dtype 必须一致,且仅限 INT16、INT32、FLOAT、FLOAT16、BFLOAT16。

从源码结构看,该算子当前在仓库中以 arch35(Ascend 950)为完整实现基线,且 IR 定义标注为实验性算子,建议在业务接入前结合实际产品版本与精度要求充分验证。

登录后查看全文
ops-math