CANN ops-math 算子详解:InvGrad 倒数反向梯度算子的实现原理与调用指南

原创2026-09-20 10:26:051,628 阅读
文章标签:算子库人工智能深度学习高性能计算CANNAscend

CANN ops-math 算子详解:InvGrad 倒数反向梯度算子的实现原理与调用指南

InvGrad 是 CANN ops-math 数学算子库中为 Inv(取倒数)前向算子配套的反向梯度算子,用于在 NPU 上完成 y = 1/x 的梯度回传计算。本文以 math/inv_grad/README.md 为核心骨架,结合 op_graph、op_host、op_kernel 与 op_kernel_aicpu 的源码实现,完整介绍该算子的数学定义、参数约束、多产品支持情况、多核 Tiling 策略、按数据类型的计算路径分工以及图模式调用方法,帮助开发者在反向传播中正确使用并深入理解该算子的底层机制。

算子功能与数学原理

InvGrad 算子计算 Inv(取倒数)算子的反向梯度。设前向算子为 Inv,其前向输出为:

x=1original_xx = \frac{1}{\mathrm{original\_x}}

则 InvGrad 依据链式法则,对原始输入 original_x 的梯度按下式计算:

yi=−1⋅xi⋅xi⋅gradiy_i = -1 \cdot x_i \cdot x_i \cdot grad_i

其中:

  • xix_i 为前向 Inv 算子的输出,即 1/original_xi1 / \mathrm{original\_x}_i;
  • gradigrad_i 为上游(反向传播链中靠后一层)传入的梯度;
  • yiy_i 为最终输出,即对原始输入 original_xi\mathrm{original\_x}_i 的梯度。

该公式的推导非常直观:前向函数 f(t)=1/tf(t) = 1/t 的导数为 f′(t)=−1/t2f'(t) = -1/t^2。将前向输出 x=1/tx = 1/t 代入,可得 f′(t)=−x2f'(t) = -x^2,再乘以链式法则中的上游梯度 gradgrad,即得到 y=−x⋅x⋅grady = -x \cdot x \cdot grad。这与 op_graph/inv_grad_proto.h 中的注释表述完全一致:dx = -1*dy*y*y, where y = 1/x。

从实现角度看,整个计算被等价地分解为两次逐元素乘法和一次标量乘法(Mul/Muls 指令),不涉及除法或取倒数运算,因此具有很好的数值稳定性与向量化执行效率。

产品支持情况

InvGrad 算子已在当前 CANN 数学算子库中完成适配,支持的硬件产品如下:

产品 是否支持
Ascend 950PR/Ascend 950DT √
Atlas A3 训练系列产品/Atlas A3 推理系列产品 √
Atlas A2 训练系列产品/Atlas A2 推理系列产品 √
Atlas 200I/500 A2 推理产品 √
Atlas 推理系列产品 √
Atlas 训练系列产品 √

其中,Ascend 950 系列产品走 AscendC(AI Core)加速路径(对应源码目录 op_kernel/arch35),其余产品由 AICPU 路径承接(对应 op_kernel_aicpu),两条路径共享同一套算子定义与形状推断逻辑,保证行为一致。

参数说明

InvGrad 是一个无属性(无 attr)算子,仅包含两个输入与一个输出,参数详情如下表所示:

参数名 输入/输出/属性 描述 数据类型 数据格式
x 输入 输入张量,即前向 Inv 算子的输出 FLOAT16, FLOAT32, BFLOAT16, INT32, INT8 ND
grad 输入 对应的输入梯度 FLOAT16, FLOAT32, BFLOAT16, INT32, INT8 ND
y 输出 输入张量 x 的导数梯度 FLOAT16, FLOAT32, BFLOAT16, INT32, INT8 ND

从算子注册源码可以进一步确认这些约束的底层实现:

  • op_graph/inv_grad_proto.h 通过 REG_OP(InvGrad) 声明输入 x、grad 与输出 y,三者均限定为 DT_FLOAT, DT_BF16, DT_FLOAT16, DT_INT32, DT_INT8 五种类型;
  • op_host/inv_grad_def.cpp 中的 OpDef 注册将三个张量均标记为 REQUIRED(必选)、FORMAT_ND,并声明了 UnknownShapeFormat 与 AutoContiguous(),保证动态 shape 场景下也能正确推导;
  • 该 OpDef 同时为 AI Core 路径配置了 DynamicShapeSupportFlag(true)、DynamicRankSupportFlag(true)、DynamicCompileStaticFlag(true) 等能力开关,并关闭了 PrecisionReduceFlag,说明算子支持动态 shape 与动态 rank,且不依赖精度降级开关(详见 inv_grad_def.cpp)。

关于数据类型的实现细节

需要特别说明的是,不同数据类型的实际计算路径存在分工:

  • FLOAT32 / INT32:在 AscendC AI Core 上以原生精度直接计算(Mul(x, x) → Mul(grad, xx) → Muls(-1)),见 arch35/inv_grad.h;
  • FLOAT16 / BFLOAT16:在 AI Core 上先无损上行(Cast 至 FP32)计算,再以银行家舍入(CAST_ROUND)下行回原精度,以获得更高计算精度,见 arch35/inv_grad.h;
  • INT8:算子接口层面支持,但 arch35 上 AscendC 用户层 Cast API 不提供"转 int8"方向直接转换(需寄存器级 CastMicro 编程),因此 INT8 场景由 AICPU 路径承接,见 arch35/inv_grad.h 的注释说明;
  • AICPU 路径:除上述类型外,还额外支持 DOUBLE、COMPLEX64、COMPLEX128,见 op_kernel_aicpu/inv_grad_aicpu.cpp。

约束说明

根据算子 README,InvGrad 无额外约束。但结合实现源码,存在以下两点隐含约束值得使用者注意:

  1. 输入 x 与 grad 的数据类型必须一致。tiling 阶段与 AICPU 参数检查阶段都会校验二者 dtype 一致(见 inv_grad_tiling_arch35.cpp 与 inv_grad_aicpu.cpp),不一致时直接返回失败;
  2. 形状推断支持广播。AI Core 路径要求 x 与 grad 的存储 shape 完全一致(见 inv_grad_tiling_arch35.cpp),而 InferShape 阶段使用广播工具推断输出 shape(见下节),AICPU 路径则内置了广播计算分支。

源码级实现原理

1. 算子注册与 IR 定义

算子 IR 定义位于 op_graph/inv_grad_proto.h,兼容 TensorFlow 的 InvGrad 算子(协议注释中明确标注 Compatible with the TensorFlow operator InvGrad),便于框架侧图转换与对接。同时 op_host/inv_grad_def.cpp 提供了新的 OpDef 注册,二者共同完成算子在前端 IR 与后端执行调度两个层面的登记。

2. 形状推断:广播语义

形状推断实现在 op_host/inv_grad_infershape.cpp,直接调用 Ops::Base::InferShape4Broadcast(context) 完成 x 与 grad 的广播推断。这意味着当两个输入 shape 不一致时,输出 shape 遵循 NumPy 广播规则取二者广播后的结果,与前向 Inv 的广播行为保持一致。

3. Tiling:多核切分与 UB 分块

Tiling 逻辑位于 op_host/arch35/inv_grad_tiling_arch35.cpp,策略分两层:

  • 多核切分:将展平后的总元素数 totalElements 按 AI Core 数量均分(blockFactor = CeilDiv(totalElements, coreNum)),并对 blockFactor 按 32 字节对齐(元素数上按 32/typeSize 对齐),最终通过 context->SetBlockDim(usedCoreNum) 启动实际使用的核数;
  • UB 分块:每个核上按统一缓冲(UB)容量进一步切分,单元素开销为 bytesPerElem = 3 * sizeof(T) + 2 * sizeof(float)(三个 T 队列 x/grad/y 加两个 FP32 中间缓冲区),由此计算 ubFactor,并受单次搬运 UINT16_MAX / typeSize 上限约束(见 inv_grad_tiling_arch35.cpp)。

最终 tiling 数据由三字段组成,定义在 op_kernel/arch35/inv_grad_tiling_data.h:

struct InvGradTilingData {
    int64_t totalElements = 0;   // 展平后的总元素数
    int64_t blockFactor = 0;     // 每个 AI Core 处理的元素数
    int64_t ubFactor = 0;        // 每次 UB 迭代处理的元素数
};

4. AI Core Kernel:三种计算路径

Kernel 入口在 op_kernel/inv_grad_apt.cpp,通过 DTYPE_X 宏按 dtype 实例化模板类 NsInvGrad::InvGrad<T>,主循环在 arch35/inv_grad.h 中实现,采用 CopyIn → Compute → CopyOut 的流水结构:

  • CopyIn 使用 DataCopyPad 将 x、grad 从 Global Memory 搬运到 UB 队列;
  • Compute 内部通过 if constexpr 按类型分发到三条路径(见 arch35/inv_grad.h):
    • FLOAT32 原生路径:xx = x * x,y = grad * xx,y = -y(三次向量指令完成,全程 FP32);
    • INT32 原生路径:同样三步,复用 tmpBuf1(按 4 字节分配,可同时承载 FP32 与 INT32 视图);
    • FLOAT16/BFLOAT16 路径:先 Cast(CAST_NONE 无损)上行 FP32 计算,再 Cast(CAST_ROUND 银行家舍入)下行回原精度;
  • CopyOut 将结果写回 Global Memory。

值得关注的是,Compute 直接以 currentNum 作为向量指令 count,不再向上对齐到整块,以避免对 UB 中未初始化区域做读运算,以及非 32 字节对齐时 Duplicate 触发 VEC_ERROR 的问题(见 arch35/inv_grad.h 的注释),这体现了对 cpp-secure 规范与硬件边界条件的精细处理。

5. AICPU 路径:更宽的类型覆盖与广播支持

AICPU 实现位于 op_kernel_aicpu/inv_grad_aicpu.cpp,核心计算同样为 output = input1 * input1 * input2 * (-1)(见 SpecialCompute,inv_grad_aicpu.cpp)。其特点是:

  • 数据类型覆盖 FP16、FP32、DOUBLE、COMPLEX64、COMPLEX128;
  • 内置三种计算分支:形状相同的 NoBcastCompute、标量/单元素输入的特殊计算 SpecialCompute,以及形状不同的广播计算;
  • 大数据量(≥ 7×1024 元素)时基于 aicpu::CpuKernelUtils::GetCPUNum 进行多 CPU 核并行切分,超过 35×1024 元素时放开核数上限,兼顾小数据量与大数据量的执行效率(见 inv_grad_aicpu.cpp 与 inv_grad_aicpu.cpp)。

调用方式

InvGrad 支持图模式调用,即通过算子 IR 构图的方式在图中显式构造 InvGrad 节点。完整示例见 examples/test_geir_inv_grad.cpp,核心构图流程如下:

  1. 通过 op::Data 创建输入占位节点(placeholder),并设置 FORMAT_ND 格式与对应 dtype 的 TensorDesc;
  2. 调用 invGrad.set_input_x(...)、invGrad.set_input_grad(...) 将两个输入接入算子节点;
  3. 将占位节点与 InvGrad 节点加入 graph,随后交由 GE(Graph Engine)构图、编译并下发执行。

示例中还包含动态 shape 版本 examples/arch35/test_geir_inv_grad_dynamic.cpp,展示了动态 shape 场景下的构图方式,与算子 OpDef 中 DynamicShapeSupportFlag(true) 的能力声明相互印证。

测试与验证

仓库为该算子提供了覆盖各实现层的单元测试:

小结

InvGrad 是 Inv 算子的反向配套算子,数学定义简洁(y = -x²·grad),却在工程实现上体现了完整的算子开发链路:IR 定义(proto)→ OpDef 注册 → 广播形状推断 → 多核/UB 双层 Tiling → 按 dtype 分派的 AscendC 计算路径与 AICPU 兜底路径 → 单元测试闭环。理解该算子的实现,有助于举一反三地掌握 CANN ops-math 库中其他逐元素反向算子的通用开发模式与性能优化思路。

登录后查看全文
ops-math