CANN ops-math 算子详解:InvGrad 倒数反向梯度算子的实现原理与调用指南
CANN ops-math 算子详解:InvGrad 倒数反向梯度算子的实现原理与调用指南
InvGrad 是 CANN ops-math 数学算子库中为 Inv(取倒数)前向算子配套的反向梯度算子,用于在 NPU 上完成 y = 1/x 的梯度回传计算。本文以 math/inv_grad/README.md 为核心骨架,结合 op_graph、op_host、op_kernel 与 op_kernel_aicpu 的源码实现,完整介绍该算子的数学定义、参数约束、多产品支持情况、多核 Tiling 策略、按数据类型的计算路径分工以及图模式调用方法,帮助开发者在反向传播中正确使用并深入理解该算子的底层机制。
算子功能与数学原理
InvGrad 算子计算 Inv(取倒数)算子的反向梯度。设前向算子为 Inv,其前向输出为:
则 InvGrad 依据链式法则,对原始输入 original_x 的梯度按下式计算:
其中:
- 为前向
Inv算子的输出,即 ; - 为上游(反向传播链中靠后一层)传入的梯度;
- 为最终输出,即对原始输入 的梯度。
该公式的推导非常直观:前向函数 的导数为 。将前向输出 代入,可得 ,再乘以链式法则中的上游梯度 ,即得到 。这与 op_graph/inv_grad_proto.h 中的注释表述完全一致:dx = -1*dy*y*y, where y = 1/x。
从实现角度看,整个计算被等价地分解为两次逐元素乘法和一次标量乘法(Mul/Muls 指令),不涉及除法或取倒数运算,因此具有很好的数值稳定性与向量化执行效率。
产品支持情况
InvGrad 算子已在当前 CANN 数学算子库中完成适配,支持的硬件产品如下:
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | √ |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | √ |
| Atlas 推理系列产品 | √ |
| Atlas 训练系列产品 | √ |
其中,Ascend 950 系列产品走 AscendC(AI Core)加速路径(对应源码目录 op_kernel/arch35),其余产品由 AICPU 路径承接(对应 op_kernel_aicpu),两条路径共享同一套算子定义与形状推断逻辑,保证行为一致。
参数说明
InvGrad 是一个无属性(无 attr)算子,仅包含两个输入与一个输出,参数详情如下表所示:
| 参数名 | 输入/输出/属性 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| x | 输入 | 输入张量,即前向 Inv 算子的输出 | FLOAT16, FLOAT32, BFLOAT16, INT32, INT8 | ND |
| grad | 输入 | 对应的输入梯度 | FLOAT16, FLOAT32, BFLOAT16, INT32, INT8 | ND |
| y | 输出 | 输入张量 x 的导数梯度 | FLOAT16, FLOAT32, BFLOAT16, INT32, INT8 | ND |
从算子注册源码可以进一步确认这些约束的底层实现:
- op_graph/inv_grad_proto.h 通过
REG_OP(InvGrad)声明输入x、grad与输出y,三者均限定为DT_FLOAT, DT_BF16, DT_FLOAT16, DT_INT32, DT_INT8五种类型; - op_host/inv_grad_def.cpp 中的 OpDef 注册将三个张量均标记为
REQUIRED(必选)、FORMAT_ND,并声明了UnknownShapeFormat与AutoContiguous(),保证动态 shape 场景下也能正确推导; - 该 OpDef 同时为 AI Core 路径配置了
DynamicShapeSupportFlag(true)、DynamicRankSupportFlag(true)、DynamicCompileStaticFlag(true)等能力开关,并关闭了PrecisionReduceFlag,说明算子支持动态 shape 与动态 rank,且不依赖精度降级开关(详见 inv_grad_def.cpp)。
关于数据类型的实现细节
需要特别说明的是,不同数据类型的实际计算路径存在分工:
- FLOAT32 / INT32:在 AscendC AI Core 上以原生精度直接计算(
Mul(x, x) → Mul(grad, xx) → Muls(-1)),见 arch35/inv_grad.h; - FLOAT16 / BFLOAT16:在 AI Core 上先无损上行(
Cast至 FP32)计算,再以银行家舍入(CAST_ROUND)下行回原精度,以获得更高计算精度,见 arch35/inv_grad.h; - INT8:算子接口层面支持,但 arch35 上 AscendC 用户层 Cast API 不提供"转 int8"方向直接转换(需寄存器级
CastMicro编程),因此 INT8 场景由 AICPU 路径承接,见 arch35/inv_grad.h 的注释说明; - AICPU 路径:除上述类型外,还额外支持 DOUBLE、COMPLEX64、COMPLEX128,见 op_kernel_aicpu/inv_grad_aicpu.cpp。
约束说明
根据算子 README,InvGrad 无额外约束。但结合实现源码,存在以下两点隐含约束值得使用者注意:
- 输入
x与grad的数据类型必须一致。tiling 阶段与 AICPU 参数检查阶段都会校验二者 dtype 一致(见 inv_grad_tiling_arch35.cpp 与 inv_grad_aicpu.cpp),不一致时直接返回失败; - 形状推断支持广播。AI Core 路径要求
x与grad的存储 shape 完全一致(见 inv_grad_tiling_arch35.cpp),而 InferShape 阶段使用广播工具推断输出 shape(见下节),AICPU 路径则内置了广播计算分支。
源码级实现原理
1. 算子注册与 IR 定义
算子 IR 定义位于 op_graph/inv_grad_proto.h,兼容 TensorFlow 的 InvGrad 算子(协议注释中明确标注 Compatible with the TensorFlow operator InvGrad),便于框架侧图转换与对接。同时 op_host/inv_grad_def.cpp 提供了新的 OpDef 注册,二者共同完成算子在前端 IR 与后端执行调度两个层面的登记。
2. 形状推断:广播语义
形状推断实现在 op_host/inv_grad_infershape.cpp,直接调用 Ops::Base::InferShape4Broadcast(context) 完成 x 与 grad 的广播推断。这意味着当两个输入 shape 不一致时,输出 shape 遵循 NumPy 广播规则取二者广播后的结果,与前向 Inv 的广播行为保持一致。
3. Tiling:多核切分与 UB 分块
Tiling 逻辑位于 op_host/arch35/inv_grad_tiling_arch35.cpp,策略分两层:
- 多核切分:将展平后的总元素数
totalElements按 AI Core 数量均分(blockFactor = CeilDiv(totalElements, coreNum)),并对blockFactor按 32 字节对齐(元素数上按32/typeSize对齐),最终通过context->SetBlockDim(usedCoreNum)启动实际使用的核数; - UB 分块:每个核上按统一缓冲(UB)容量进一步切分,单元素开销为
bytesPerElem = 3 * sizeof(T) + 2 * sizeof(float)(三个T队列x/grad/y加两个 FP32 中间缓冲区),由此计算ubFactor,并受单次搬运UINT16_MAX / typeSize上限约束(见 inv_grad_tiling_arch35.cpp)。
最终 tiling 数据由三字段组成,定义在 op_kernel/arch35/inv_grad_tiling_data.h:
struct InvGradTilingData {
int64_t totalElements = 0; // 展平后的总元素数
int64_t blockFactor = 0; // 每个 AI Core 处理的元素数
int64_t ubFactor = 0; // 每次 UB 迭代处理的元素数
};
4. AI Core Kernel:三种计算路径
Kernel 入口在 op_kernel/inv_grad_apt.cpp,通过 DTYPE_X 宏按 dtype 实例化模板类 NsInvGrad::InvGrad<T>,主循环在 arch35/inv_grad.h 中实现,采用 CopyIn → Compute → CopyOut 的流水结构:
CopyIn使用DataCopyPad将x、grad从 Global Memory 搬运到 UB 队列;Compute内部通过if constexpr按类型分发到三条路径(见 arch35/inv_grad.h):- FLOAT32 原生路径:
xx = x * x,y = grad * xx,y = -y(三次向量指令完成,全程 FP32); - INT32 原生路径:同样三步,复用
tmpBuf1(按 4 字节分配,可同时承载 FP32 与 INT32 视图); - FLOAT16/BFLOAT16 路径:先
Cast(CAST_NONE无损)上行 FP32 计算,再Cast(CAST_ROUND银行家舍入)下行回原精度;
- FLOAT32 原生路径:
CopyOut将结果写回 Global Memory。
值得关注的是,Compute 直接以 currentNum 作为向量指令 count,不再向上对齐到整块,以避免对 UB 中未初始化区域做读运算,以及非 32 字节对齐时 Duplicate 触发 VEC_ERROR 的问题(见 arch35/inv_grad.h 的注释),这体现了对 cpp-secure 规范与硬件边界条件的精细处理。
5. AICPU 路径:更宽的类型覆盖与广播支持
AICPU 实现位于 op_kernel_aicpu/inv_grad_aicpu.cpp,核心计算同样为 output = input1 * input1 * input2 * (-1)(见 SpecialCompute,inv_grad_aicpu.cpp)。其特点是:
- 数据类型覆盖 FP16、FP32、DOUBLE、COMPLEX64、COMPLEX128;
- 内置三种计算分支:形状相同的
NoBcastCompute、标量/单元素输入的特殊计算SpecialCompute,以及形状不同的广播计算; - 大数据量(≥ 7×1024 元素)时基于
aicpu::CpuKernelUtils::GetCPUNum进行多 CPU 核并行切分,超过 35×1024 元素时放开核数上限,兼顾小数据量与大数据量的执行效率(见 inv_grad_aicpu.cpp 与 inv_grad_aicpu.cpp)。
调用方式
InvGrad 支持图模式调用,即通过算子 IR 构图的方式在图中显式构造 InvGrad 节点。完整示例见 examples/test_geir_inv_grad.cpp,核心构图流程如下:
- 通过
op::Data创建输入占位节点(placeholder),并设置FORMAT_ND格式与对应 dtype 的 TensorDesc; - 调用
invGrad.set_input_x(...)、invGrad.set_input_grad(...)将两个输入接入算子节点; - 将占位节点与
InvGrad节点加入graph,随后交由 GE(Graph Engine)构图、编译并下发执行。
示例中还包含动态 shape 版本 examples/arch35/test_geir_inv_grad_dynamic.cpp,展示了动态 shape 场景下的构图方式,与算子 OpDef 中 DynamicShapeSupportFlag(true) 的能力声明相互印证。
测试与验证
仓库为该算子提供了覆盖各实现层的单元测试:
- tests/ut/op_host/test_inv_grad_infershape.cpp:验证形状推断(含广播)逻辑;
- tests/ut/op_host/arch35/test_inv_grad_tiling_arch35.cpp:验证 arch35 tiling 参数计算;
- tests/ut/op_kernel_aicpu/test_inv_grad.cpp:使用 gtest 框架,覆盖 FP16 等多数据类型的 AICPU 计算正确性,测试数据覆盖正数、负数、接近零值等典型输入(见 test_inv_grad.cpp),可用于回归验证算子行为。
小结
InvGrad 是 Inv 算子的反向配套算子,数学定义简洁(y = -x²·grad),却在工程实现上体现了完整的算子开发链路:IR 定义(proto)→ OpDef 注册 → 广播形状推断 → 多核/UB 双层 Tiling → 按 dtype 分派的 AscendC 计算路径与 AICPU 兜底路径 → 单元测试闭环。理解该算子的实现,有助于举一反三地掌握 CANN ops-math 库中其他逐元素反向算子的通用开发模式与性能优化思路。