CANN ops-math AsinGrad 算子详解:反正弦梯度算子的实现原理、约束与图模式调用
CANN ops-math AsinGrad 算子详解:反正弦梯度算子的实现原理、约束与图模式调用
导读
AsinGrad 是 CANN ops-math 数学算子库中 Asin(反正弦)算子的梯度算子,服务于深度学习框架自动微分的反向传播阶段:给定正向输入 y 与上游梯度 dy,计算输入梯度 z = dy / sqrt(1 - y²)。本文以 math/asin_grad/README.md 为骨架,结合该算子目录下的算子定义、Shape 推导、Tiling、Kernel 实现与测试用例,系统讲解其功能语义、参数与约束、NPU 上的多核 Tiling 与双缓冲实现,并给出可运行的图模式(GE IR)调用示例,帮助开发者理解并落地使用该算子。
功能说明:从 Asin 前向到反向梯度
AsinGrad 是反正弦函数 asin(y) 的导数在深度学习反向传播中的实现形态。对于正向算子 Asin,其数学关系为:
对两边求导可得:
因此,当上游梯度为 dy 时,输入侧梯度 z 的计算公式为:
其中:
y:正向 Asin 算子的输入 tensor,值域[-1, 1];dy:上游传播的梯度(grad_output);z:计算得到的输入梯度(grad_input)。
该算子在深度学习中对应 torch.arcsin / TensorFlow Asin 的反向求导路径,属于逐元素(element-wise)算子,不涉及跨元素的归约或聚合。
参数说明
AsinGrad 共 2 个输入、1 个输出,全部为 ND 格式,支持的数据类型为 BFLOAT16、FLOAT16、FLOAT32:
| 参数名 | 输入/输出 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| y | 输入 | 正向 Asin 算子的输入 tensor,对应公式中的 y。支持 0-8 维 tensor,支持空 tensor。shape 需要与 dy 的 shape 完全相同。 | BFLOAT16、FLOAT16、FLOAT32 | ND |
| dy | 输入 | 上游传播的梯度 tensor,对应公式中的 dy。支持 0-8 维 tensor,支持空 tensor。shape 需要与 y 的 shape 完全相同。 | BFLOAT16、FLOAT16、FLOAT32 | ND |
| z | 输出 | 计算得到的输入梯度 tensor,对应公式中的 z。shape 与输入相同,数据类型与输入一致。 | BFLOAT16、FLOAT16、FLOAT32 | ND |
在源码侧,op_host/asin_grad_def.cpp 通过 OpDef 注册接口对上述接口语义进行了逐项声明:
this->Input("y")
.ParamType(REQUIRED)
.DataType({ge::DT_FLOAT16, ge::DT_FLOAT, ge::DT_BF16})
.Format({ge::FORMAT_ND, ge::FORMAT_ND, ge::FORMAT_ND})
.UnknownShapeFormat({ge::FORMAT_ND, ge::FORMAT_ND, ge::FORMAT_ND})
.AutoContiguous();
y、dy、z 三者采用完全相同的 DataType 与 Format 声明,对应"输入输出类型一致、不支持广播"的约束;.AutoContiguous() 表示算子要求输入为连续内存布局。同时该文件还通过 DynamicRankSupportFlag(true) 与 DynamicShapeSupportFlag(true) 开启了动态 rank 与动态 shape 支持,这正是"支持 0-8 维 tensor、支持空 tensor"这一约束得以在编译期与运行期成立的基础。
与之对应的 IR 图算子原型声明位于 op_graph/asin_grad_proto.h,使用 REG_OP(AsinGrad) 注册两个输入 y、dy 与一个输出 z,其输入输出命名与 op_def 保持严格一致。
约束说明
使用 AsinGrad 时需要遵守以下约束,这些约束同时被算子定义与 Tiling 代码双重校验:
- 数据类型一致:
y与dy的数据类型必须一致,z的数据类型与y/dy一致,仅支持FLOAT(FLOAT32)、FLOAT16、BFLOAT16三种。 - shape 完全一致:
y与dy的 shape 必须完全相同,不支持广播。 - 维度范围:支持 0-8 维 tensor,支持空 tensor(0 元素)。
- 值域要求:
y的值域应在[-1, 1]范围内。当|y| = 1时,1 - y²趋近于 0,计算结果为inf;当|y| > 1时,根号内为负,计算结果为NaN。 - 计算精度策略:
FLOAT16、BFLOAT16均转换为FLOAT32进行中间计算,计算结果再转换回输入数据类型;FLOAT32直接进行FLOAT32计算。
约束 4 与约束 5 是精度设计的关键。正如 op_kernel/arch35/asin_grad.h 注释所说明的:当 |y| 接近 1 时,1 - y² 会趋近于 0,若在低精度下计算极易产生严重的精度损失,因此 fp16/bf16 路径必须 Cast 到 fp32 计算后再转回。
Tiling 阶段的约束二次校验
约束不仅在算子定义层声明,还会在 Tiling 阶段被再次校验。op_host/arch35/asin_grad_tiling_arch35.cpp 中的 GetShapeAttrsInfo 会读取 y、dy、z 三个 tensor 的 storage shape 并检查元素总数是否一致:
OP_CHECK_IF(yShape.GetShapeSize() != dyShape.GetShapeSize() ||
yShape.GetShapeSize() != zShape.GetShapeSize(), ...);
同时用 supportedDtype 集合({DT_FLOAT16, DT_FLOAT, DT_BF16})校验输入数据类型,任何不满足约束的输入都会在编译 Tiling 阶段直接报错返回,避免非法数据进入 Kernel 执行。
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR / Ascend 950DT | √ |
| Atlas A3 训练系列产品 / Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品 / Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | √ |
| Atlas 推理系列产品 | √ |
| Atlas 训练系列产品 | √ |
从源码看,当前 Kernel 实现针对 arch35(Ascend 950)架构,op_host/asin_grad_def.cpp 中通过 this->AICore().AddConfig("ascend950", aiCoreConfig) 将算子绑定到 ascend950 的 AI Core 配置,Kernel 入口与 Tiling 实现分别位于 op_kernel/arch35/ 与 op_host/arch35/ 目录。
目录结构与算子实现链路
AsinGrad 在仓库中遵循 CANN 算子开发的标准目录组织,每个模块各司其职:
math/asin_grad/
├── examples/ # 调用示例(图模式)
│ ├── test_geir_asin_grad.cpp
│ └── arch35/test_geir_asin_grad.cpp
├── framework/ # 框架适配(TF 插件)
│ └── asin_grad_tf_plugin.cpp
├── op_graph/ # 图算子原型与形状推导
│ ├── asin_grad_graph_infer.cpp
│ └── asin_grad_proto.h
├── op_host/ # 算子定义、Shape 推导、Tiling(Host 侧)
│ ├── asin_grad_def.cpp
│ ├── asin_grad_infershape.cpp
│ └── arch35/asin_grad_tiling_arch35.cpp
├── op_kernel/ # Kernel 实现(Device 侧)
│ ├── asin_grad.cpp
│ └── arch35/{asin_grad.h, asin_grad_tiling_data.h, asin_grad_tiling_key.h}
└── tests/ # 测试与 golden
├── assets/golden.py
└── ut/{op_host, op_kernel}/...
一条算子从调用到上板的完整链路为:图模式构建算子节点 → 图 Shape 推导 → Host 侧 Tiling(计算分核参数与 TilingKey)→ Kernel 按分核参数在 NPU 上执行。
Shape 推导:输出 shape 等于输入 shape
op_host/asin_grad_infershape.cpp 是逐元素算子的典型 Shape 推导实现——直接取输入 y 的 shape 作为输出 z 的 shape:
static ge::graphStatus InferShape4AsinGrad(gert::InferShapeContext* context)
{
const gert::Shape* inputShape = context->GetInputShape(0);
...
*outputShape = *inputShape;
...
}
由于 AsinGrad 是逐元素算子,输入输出的 shape 天然一致,推导逻辑非常简洁。该文件同时被 op_host 侧单测 tests/ut/op_host/test_asin_grad_infershape.cpp 覆盖验证。
Tiling 策略:多核分片、UB 切块与双缓冲
AsinGrad 在 NPU 上采用经典的"多核均匀分片 + UB 循环切块"的 Tiling 策略,核心实现位于 op_host/arch35/asin_grad_tiling_arch35.cpp。
TilingData 结构
分核参数通过 AsinGradTilingData 结构体传递给 Kernel,定义见 op_kernel/arch35/asin_grad_tiling_data.h:
struct AsinGradTilingData {
int64_t totalNum = 0; // 展平后的总元素个数
int64_t blockFactor = 0; // 每个核负责的元素个数
int64_t ubFactor = 0; // 每次 UB 循环处理的元素个数
};
三步 Tiling 流程
- 平台信息获取:通过
GetPlatformInfo读取 AI Vector Core 数量coreNum与 UB 内存大小ubSize,这是分核的基础。 - 多核均匀分片:
blockFactor = CeilAlign(CeilDiv(totalNum, coreNum), ubBlockSize),将总元素数平均切分到各核,并对齐到 UB block 大小;实际使用的核数为usedCoreNum = CeilDiv(totalNum, blockFactor)。 - UB 切块与缓冲模式选择:
ubFactor依据数据类型与缓冲模式计算单次循环放入 UB 的元素数;当totalNum > 1024(MIN_SPLIT_THRESHOLD)时启用双缓冲(BUFFER_MODE=1),否则使用单缓冲(BUFFER_MODE=0)。
CalcUbFactor 按两种数据路径分别估算每元素字节开销:
- fp16/bf16 路径:3 个低精度 TQue(2 输入 + 1 输出)× BUFFER_NUM + 4 个 float 计算缓冲(TBuf),单缓冲每元素 22 字节,双缓冲每元素 28 字节;
- fp32 路径:4 个 float 缓冲(y、dy、tmp、z),双缓冲下按 8 个 buffer 份数折算。
TilingKey 通过 op_kernel/arch35/asin_grad_tiling_key.h 中的 ASCENDC_TPL_UINT_DECL(BUFFER_MODE, ...) 仅编码 BUFFER_MODE 一个模板参数(取值 0/1),而数据类型则由算子定义层的 DataType 声明驱动,构建系统通过 DTYPE_Y 宏在 Kernel 侧注入实际存储类型,无需在 TilingKey 中重复编码 dtype。
空 tensor 的特殊处理
对于空 tensor(totalNum == 0),Tiling 代码设置 blockDim = 1(blockDim 为 0 会被运行时拒绝)并给 ubFactor 赋 1,确保 InitBuffer 不会出现零大小分配;Kernel 侧 Process() 检测到 blockLength_ <= 0 后直接早退,不执行任何计算。这正是 README 中"支持空 tensor"约束的实现保障。
Kernel 实现:双路径精度策略
Kernel 主体是一个模板类 NsAsinGrad::AsinGrad<StorageT, ComputeT, BUFFER_MODE>,见 op_kernel/arch35/asin_grad.h,模板参数含义:
StorageT:GM 存储与数据搬运的类型(half / float / bfloat16_t);ComputeT:实际计算类型(生产分发中恒为 float);BUFFER_MODE:缓冲模式(0=单缓冲,1=双缓冲),决定BUFFER_NUM为 1 还是 2。
Kernel 内部按 NEED_CAST = !std::is_same_v<StorageT, ComputeT> 编译期分支出两条路径:
fp32 直接计算路径(ComputeT == StorageT == float):使用 4 个 TQue 缓冲(y、dy、tmp、z),通过 ReinterpretCast 直接在 float 上依次执行 Mul(y, y) → Muls(-1) → Adds(1) → Sqrt → Div(dy, tmp)。
fp16/bf16 提升精度路径(NEED_CAST == true):输入输出使用低精度 TQue 完成 GM↔UB 搬运,中间计算使用 4 个 TBuf<VECCALC> float 缓冲,先 Cast 低精度输入到 float,计算完成后用 RoundMode::CAST_RINT 将结果转回低精度输出。注释明确指出:"Cast to fp32 to avoid precision loss when 1 - y² approaches 0 near |y|=1",这是 README 中"FLOAT16、BFLOAT16 均转换为 FLOAT32 进行中间计算"约束的 Device 侧实现。
主循环 Process() 按 loopCount 分片执行 CopyIn → Compute → CopyOut,其中 CopyIn/CopyOut 使用 DataCopyPad 按 blockLen = currentNum * sizeof(StorageT) 进行搬运,支持非对齐尾块处理。Kernel 入口位于 op_kernel/asin_grad.cpp,模板实例化参数为 AsinGrad<DTYPE_Y, float, BUFFER_MODE>。
调用说明:图模式(GE IR)示例
AsinGrad 支持通过图模式调用,官方示例为 examples/test_geir_asin_grad.cpp(arch35 版本位于 examples/arch35/test_geir_asin_grad.cpp)。该示例完整演示了基于 GE Session 构建计算图、编译并执行 AsinGrad 算子的流程,核心步骤如下:
// 1. 初始化 GE,指定 deviceId 与图运行模式
std::map<AscendString, AscendString> global_options = {
{"ge.exec.deviceId", "0"}, {"ge.graphRunMode", "1"}};
Status ret = ge::GEInitialize(global_options);
// 2. 构建算子节点,绑定输入输出
auto asinGradOp = op::AsinGrad("asin_grad_1");
std::vector<int64_t> xShape = {4, 4, 4}; // 3 维 shape
// y、dy 均以 FORMAT_ND 占位节点接入,输出 z 描述与输入同 shape
示例中输入数据生成策略值得参考:
- y:线性取值
y[i] = i * 0.01f - 0.5f,落在[-0.5, ...]区间内,保证1 - y²恒为正、远离分母为 0 的奇点; - dy:全部取 1.0 的均匀梯度,便于人工验算。
执行完成后,示例会打印输出与期望值对比:expected = 1.0f / std::sqrt(1.0f - y * y),例如当 y = -0.5 时,z = 1/sqrt(0.75) ≈ 1.154701。示例还支持通过命令行参数 fp16 / bf16 切换输入数据类型,对应 DT_FLOAT16 / DT_BF16。
测试与 golden 验证
AsinGrad 的精度验证采用 golden 对照方式。tests/assets/golden.py 提供了参考实现 asin_grad_golden:
def asin_grad_golden(y, dy, **kwargs):
ori_dtype = y.dtype
if ori_dtype.name in ("float16", "bfloat16"):
y_cast = y.astype(np.float32)
dy_cast = dy.astype(np.float32)
res = dy_cast / np.sqrt(np.float32(1.0) - y_cast * y_cast)
return res.astype(ori_dtype, copy=False)
return dy / np.sqrt(1.0 - y * y)
golden 实现与 Kernel 保持完全一致的精度策略:fp16/bf16 先转 fp32 计算再转回,fp32 直接计算。配套测试包括 tests/ut/op_host/test_asin_grad_infershape.cpp(Shape 推导单测)与 tests/ut/op_kernel/test_asin_grad_apt.cpp(Kernel APT 测试),分别在 Host 与 Kernel 两个层面验证算子正确性。
总结
AsinGrad 是 CANN ops-math 中实现 arcsin 反向传播的标准逐元素算子,其技术要点可归纳为:
- 数学语义清晰:
z = dy / sqrt(1 - y²),严格依赖输入值域[-1, 1]; - 接口约束明确:输入输出同 dtype、同 shape,不支持广播,支持 0-8 维与空 tensor;
- 精度策略讲究:fp16/bf16 全程提升到 fp32 中间计算,规避
1 - y²接近 0 时的精度损失; - NPU 优化完整:多核均匀分片 + UB 切块 + 大 tensor 双缓冲(阈值 1024 元素)的 Tiling 策略,以及空 tensor 的 blockDim 兜底处理;
- 可验证性高:既提供图模式调用示例与期望值打印,又有与 Kernel 同精度策略的 Python golden 及双层单测。
对于需要在其上二次开发类似逐元素梯度算子的开发者,AsinGrad 的"算子定义 → Shape 推导 → Tiling → Kernel"完整链路与"低精度提升中间计算精度"的工程实践,均具有直接的参考价值。