CANN ops-math 算子解析:aclnnSub 与 aclnnInplaceSub 减法定标两段式调用实战
CANN ops-math 算子解析:aclnnSub 与 aclnnInplaceSub 减法定标两段式调用实战
本文以 CANN ops-math 开源仓库中的 aclnnSub&aclnnInplaceSub 接口文档 为主体,系统讲解 Sub 减法算子的功能语义、两段式调用模型、四组接口的完整参数与返回码,并深入 aclnn_sub.cpp 源码揭示其底层计算图与参数校验逻辑。读完本文,你将掌握在 NPU 上以 aclnn 单算子 API 方式完成"被减数按 alpha 缩放后相减"运算(含原地 inplace 版本)的完整编码能力。
产品支持情况
aclnnSub / aclnnInplaceSub 接口在以下产品上支持:
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR / Ascend 950DT | 支持 |
| Atlas A3 训练系列产品 / Atlas A3 推理系列产品 | 支持 |
| Atlas A2 训练系列产品 / Atlas A2 推理系列产品 | 支持 |
| Atlas 200I/500 A2 推理产品 | 支持 |
| Atlas 推理系列产品 | 不支持 |
| Atlas 训练系列产品 | 支持 |
说明:算子级的产品支持矩阵可同时参考 Sub 算子 README,接口级的支持范围以本文档为准。另外,在Atlas 训练系列产品、Atlas 200I/500 A2 推理产品上,aclnnSub 与 aclnnInplaceSub 均不支持 BFLOAT16 数据类型。
功能说明与计算公式
接口功能:完成减法计算,被减数按 alpha 进行缩放。
对于非原地接口 aclnnSub,计算公式为:
对于原地接口 aclnnInplaceSub,计算结果直接写回输入张量 selfRef:
从语义上看,这与 PyTorch 中 torch.sub(input, other, alpha=...) 及 Tensor.sub_ 的"self - alpha * other"语义一致。注意:当 alpha 取值为 1 时,运算退化为普通的逐元素减法 self - other。
两段式接口调用模型
aclnnSub 和 aclnnInplaceSub 实现相同的功能,均遵循 CANN 单算子 API 的两段式接口调用模型:
- 第一段接口(GetWorkspaceSize 类):根据算子计算流程计算所需 workspace 大小,并返回 op 执行器。
- 第二段接口(执行类):传入第一段申请的 workspace、计算出的 workspaceSize、executor 和 stream,在指定 stream 上异步执行计算。
必须先调用第一段接口获取入参并计算 workspace 大小,再调用第二段接口执行计算。workspace 是指除输入/输出外,算子在 NPU 上完成计算所需的临时内存,workspaceSize 表示该临时内存的大小;且第二段接口不能重复调用。
在 aclnn_sub.cpp 的源码实现中,第二段接口 aclnnSub 与 aclnnInplaceSub 均通过 CommonOpExecutorRun(workspace, workspaceSize, executor, stream) 调用框架能力完成计算,第一段接口则通过 CREATE_EXECUTOR() 创建执行器并完成参数校验与计算图搭建。
aclnnSub 与 aclnnInplaceSub 的选择
- aclnnSub:需新建一个输出张量对象(out)存储计算结果,原输入 self 保持不变。
- aclnnInplaceSub:无需新建输出张量对象,直接在输入张量 selfRef 的内存中存储计算结果,可省去一次输出张量的创建与内存申请;代价是输入数据被覆盖,需要保留原始 self 数据的场景不应使用。
函数原型
aclnnStatus aclnnSubGetWorkspaceSize(
const aclTensor* self,
const aclTensor* other,
const aclScalar* alpha,
aclTensor* out,
uint64_t* workspaceSize,
aclOpExecutor** executor)
aclnnStatus aclnnSub(
void* workspace,
uint64_t workspaceSize,
aclOpExecutor* executor,
aclrtStream stream)
aclnnStatus aclnnInplaceSubGetWorkspaceSize(
aclTensor* selfRef,
const aclTensor* other,
const aclScalar* alpha,
uint64_t* workspaceSize,
aclOpExecutor** executor)
aclnnStatus aclnnInplaceSub(
void* workspace,
uint64_t workspaceSize,
aclOpExecutor* executor,
aclrtStream stream)
以上原型与头文件 aclnn_sub.h 中的声明完全对应,接口归属 aclnn_math 域,返回类型为 aclnnStatus。
aclnnSubGetWorkspaceSize 参数详解
第一段接口完成入参校验与计算流程搭建,参数说明如下:
| 参数名 | 输入/输出 | 描述 | 使用说明 | 数据类型 | 数据格式 | 维度(shape) | 非连续Tensor |
|---|---|---|---|---|---|---|---|
| self(aclTensor*) | 输入 | 公式中的 self | 数据类型与 other 需满足数据类型推导规则(参见互推导关系);shape 需与 other 满足 broadcast 关系 | FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、COMPLEX128、COMPLEX64、BFLOAT16 | ND | 0-8 | √ |
| other(aclTensor*) | 输入 | 公式中的 other | 数据类型与 self 需满足数据类型推导规则;shape 需与 self 满足 broadcast 关系 | FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、COMPLEX128、COMPLEX64、BFLOAT16 | ND | 0-8 | √ |
| alpha(aclScalar*) | 输入 | 公式中的 alpha | 数据类型需可转换成 self 与 other 推导后的数据类型(参见互推导关系) | FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、COMPLEX128、COMPLEX64、BFLOAT16 | - | - | - |
| out(aclTensor*) | 输出 | 公式中的 out | 数据类型需是 self 与 other 推导之后可转换的数据类型(参见互转换关系);shape 需是 self 与 other broadcast 之后的 shape | FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、COMPLEX128、COMPLEX64、BFLOAT16 | ND | 0-8 | √ |
| workspaceSize(uint64_t*) | 输出 | 返回需要在 Device 侧申请的 workspace 大小 | - | - | - | - | - |
| executor(aclOpExecutor**) | 输出 | 返回 op 执行器,包含了算子计算流程 | - | - | - | - | - |
Atlas 训练系列产品、Atlas 200I/500 A2 推理产品:不支持 BFLOAT16 数据类型。
第一段接口的返回值与报错场景
返回 aclnnStatus 状态码,具体参见 aclnn 返回码。第一段接口完成入参校验,出现以下场景时报错:
| 返回值 | 错误码 | 描述 |
|---|---|---|
| ACLNN_ERR_PARAM_NULLPTR | 161001 | 传入的 self、other、alpha、out 是空指针时 |
| ACLNN_ERR_PARAM_INVALID | 161002 | self 和 other 的数据类型不在支持的范围之内 |
| ACLNN_ERR_PARAM_INVALID | 161002 | self 和 other 不满足数据类型推导规则 |
| ACLNN_ERR_PARAM_INVALID | 161002 | 推导出的数据类型无法转换为指定输出 out 的类型 |
| ACLNN_ERR_PARAM_INVALID | 161002 | alpha 无法转换为 self 和 other 推导后的数据类型 |
| ACLNN_ERR_PARAM_INVALID | 161002 | self 和 other 的 shape 无法做 broadcast |
| ACLNN_ERR_PARAM_INVALID | 161002 | out 的 shape 不是 self 与 other broadcast 之后的 shape |
| ACLNN_ERR_PARAM_INVALID | 161002 | self 或 other 的 shape 大于 8 维 |
源码视角:CheckParams 校验链
上述报错场景与 aclnn_sub.cpp 中 CheckParams 的校验步骤一一对应:
- 空指针检查:
CheckNotNull(self, other, alpha, out),任一为空返回ACLNN_ERR_PARAM_NULLPTR; - dtype 支持范围检查:按 SoC 版本从
GetDtypeSupportListBySocVersion()获取支持列表,OP_CHECK_DTYPE_NOT_SUPPORT不通过则返回ACLNN_ERR_PARAM_INVALID; - 类型推导检查:
op::PromoteType(self, other)推导隐式计算类型,再经CheckPromoteType校验 alpha 可转换为推导类型、推导类型可转换为 out 类型,推导失败返回ACLNN_ERR_PARAM_INVALID; - broadcast 检查:
CheckShape先校验维度不超过MAX_SUPPORT_DIMS_NUMS(8),再做OP_CHECK_BROADCAST_AND_INFER_SHAPE推导广播形状,最后校验 out 的 shape 与广播结果一致。
可见"互推导关系"(类似 PyTorch 的 Type Promotion)是 Sub 计算的数据类型核心规则,推导原理与详细推导表可参见 互推导关系。
aclnnSub 参数详解
第二段接口用于在 Device 侧执行计算,参数说明如下:
| 参数名 | 输入/输出 | 描述 |
|---|---|---|
| workspace | 输入 | 在 Device 侧申请的 workspace 内存地址 |
| workspaceSize | 输入 | 在 Device 侧申请的 workspace 大小,由第一段接口 aclnnSubGetWorkspaceSize 获取 |
| executor | 输入 | op 执行器,包含了算子计算流程 |
| stream | 输入 | 指定执行任务的 Stream |
返回值:aclnnStatus 状态码,具体参见 aclnn 返回码。
aclnnInplaceSubGetWorkspaceSize 参数详解
| 参数名 | 输入/输出 | 描述 | 使用说明 | 数据类型 | 数据格式 | 维度(shape) | 非连续Tensor |
|---|---|---|---|---|---|---|---|
| selfRef(aclTensor*) | 输入|输出 | 公式中的 selfRef | 数据类型与 other 需满足数据类型推导规则(参见互推导关系),且需是推导之后可转换的数据类型(参见互转换关系);shape 需与 other broadcast 后的 shape 一致 | FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、COMPLEX128、COMPLEX64、BFLOAT16 | ND | 0-8 | √ |
| other(aclTensor*) | 输入 | 公式中的 other | 数据类型与 selfRef 需满足数据类型推导规则;shape 需与 selfRef 满足 broadcast 关系 | FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、COMPLEX128、COMPLEX64、BFLOAT16 | ND | 0-8 | √ |
| alpha(aclScalar*) | 输入 | 公式中的 alpha | 数据类型需可转换成 selfRef 与 other 推导后的数据类型(参见互推导关系) | FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、COMPLEX128、COMPLEX64、BFLOAT16 | - | - | - |
| workspaceSize(uint64_t*) | 输出 | 返回需要在 Device 侧申请的 workspace 大小 | - | - | - | - | - |
| executor(aclOpExecutor**) | 输出 | 返回 op 执行器,包含了算子计算流程 | - | - | - | - | - |
Atlas 训练系列产品、Atlas 200I/500 A2 推理产品:不支持 BFLOAT16 数据类型。
第一段接口的返回值与报错场景
| 返回值 | 错误码 | 描述 |
|---|---|---|
| ACLNN_ERR_PARAM_NULLPTR | 161001 | 传入的 selfRef、other、alpha 是空指针 |
| ACLNN_ERR_PARAM_INVALID | 161002 | selfRef 和 other 的数据类型不在支持的范围之内 |
| ACLNN_ERR_PARAM_INVALID | 161002 | selfRef 和 other 不满足数据类型推导规则 |
| ACLNN_ERR_PARAM_INVALID | 161002 | 推导出的数据类型无法转换为 selfRef 的类型 |
| ACLNN_ERR_PARAM_INVALID | 161002 | alpha 无法转换为 selfRef 和 other 推导后的数据类型 |
| ACLNN_ERR_PARAM_INVALID | 161002 | selfRef 和 other 的 shape 无法做 broadcast |
| ACLNN_ERR_PARAM_INVALID | 161002 | broadcast 后的 shape 不等于 selfRef 的 shape |
| ACLNN_ERR_PARAM_INVALID | 161002 | selfRef、other 的维度大于 8 |
源码视角:inplace 的复用实现
原地版本并非独立实现一套计算逻辑,而是复用了非原地版本的完整流程。在 aclnn_sub.cpp 中:
aclnnStatus aclnnInplaceSubGetWorkspaceSize(aclTensor* selfRef, const aclTensor* other,
const aclScalar* alpha, uint64_t* workspaceSize,
aclOpExecutor** executor)
{
// 固定写法,参数检查
auto ret = CheckInplace(selfRef, other);
CHECK_RET(ret == ACLNN_SUCCESS, ret);
return aclnnSubGetWorkspaceSize(selfRef, other, alpha, selfRef, workspaceSize, executor);
}
CheckInplace 负责校验 selfRef 与 other 可 broadcast、且 broadcast 后的 shape 与 selfRef 一致(这正是 inplace 语义的要求——结果必须能写回 selfRef);随后将 out 参数直接替换为 selfRef 调用 aclnnSubGetWorkspaceSize。同理,第二段 aclnnInplaceSub 与 aclnnSub 均调用 CommonOpExecutorRun 执行计算。
aclnnInplaceSub 参数详解
| 参数名 | 输入/输出 | 描述 |
|---|---|---|
| workspace | 输入 | 在 Device 侧申请的 workspace 内存地址 |
| workspaceSize | 输入 | 在 Device 侧申请的 workspace 大小,由第一段接口 aclnnInplaceSubGetWorkspaceSize 获取 |
| executor | 输入 | op 执行器,包含了算子计算流程 |
| stream | 输入 | 指定执行任务的 Stream |
返回值:aclnnStatus 状态码,具体参见 aclnn 返回码。
约束说明
- 确定性计算:aclnnSub & aclnnInplaceSub 默认确定性实现,即相同输入多次执行结果一致,相关机制可参考 确定性计算。
源码视角:底层计算流程与性能分支
aclnn_sub.cpp 开头以注释形式给出了 Sub 算子的完整计算流程:
self other
| |
\ /
Contiguous(workspace_0) Contiguous(workspace_2)
\ /
Cast(workspace_1) Cast(workspace_3)
\ /
Sub(workspace_4)
|
Cast(workspace_5)
|
ViewCopy
|
result
对应的 L2 算子流程为:
- Contiguous:将可能非连续的输入 self、other 转为连续张量(
l0op::Contiguous); - Cast:将两个输入转换为推导出的隐式数据类型(
l0op::Cast),即互推导关系在实现层的落地; - 核心减法:按 alpha 取值与推导类型走不同的高性能分支——
alpha == 1时:直接l0op::Sub(selfCasted, otherCasted),最简路径;- 推导类型为 FLOAT/FLOAT16/BF16 时:复用
Axpy(alphaNeg = -alpha,实现self + alphaNeg * other),避免额外 Mul 节点; - RegBase(如 950 系列)架构下推导类型为 INT32/INT64/INT8 时:复用
AxpyV2; - 其他场景:
l0op::Mul(otherCasted, alphaTensor)后再l0op::Sub,按公式原样计算;
- Cast:将中间结果转换为 out 的数据类型;
- ViewCopy:将结果拷贝到 out 上,因此 out 支持非连续 Tensor。
从代码可见,Sub 的 dtype 支持列表按 SoC 架构区分:ASCEND910_DTYPE_SUPPORT_LIST(不含 BF16)、ASCEND910B_DTYPE_SUPPORT_LIST(含 BF16)、ARCH3510_AXPY_DTYPE_SUPPORT_LIST(FLOAT/FLOAT16/BF16)、ARCH3510_AXPY_V2_DTYPE_SUPPORT_LIST(INT32/INT64/INT8),这解释了文档中"Atlas 训练系列产品、Atlas 200I/500 A2 推理产品不支持 BFLOAT16"的产品差异。
另外,第一段接口对空 Tensor 做了特殊处理:当 self->IsEmpty() || other->IsEmpty() 时直接返回 workspaceSize = 0,空 tensor 场景在 kernel 中受支持(见 aclnn_sub.cpp)。
host 侧算子注册(sub_infershape.cpp)中,InferShape4Broadcast 通过 BroadcastShape(in_shape1, in_shape2, out_shape) 完成输出 shape 推导,进一步印证了 Sub 的广播语义与广播规则(维度数不足左侧补 1、维度为 1 的轴被拉伸、无 1 维度则报错)。
调用示例
以下示例完整演示了 aclnnSub 与 aclnnInplaceSub 的两段式调用流程,示例代码亦可直接参考 test_aclnn_sub.cpp。具体编译与执行过程请参考编译与运行样例。
#include <iostream>
#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_sub.h"
#define CHECK_RET(cond, return_expr) \
do { \
if (!(cond)) { \
return_expr; \
} \
} while (0)
#define LOG_PRINT(message, ...) \
do { \
printf(message, ##__VA_ARGS__); \
} while (0)
int64_t GetShapeSize(const std::vector<int64_t>& shape) {
int64_t shapeSize = 1;
for (auto i : shape) {
shapeSize *= i;
}
return shapeSize;
}
int Init(int32_t deviceId, aclrtStream* stream) {
// 固定写法,资源初始化
auto ret = aclInit(nullptr);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret);
ret = aclrtSetDevice(deviceId);
CHECK_RET(ret == ACL_SUCCESS,
LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); aclFinalize(); return ret);
ret = aclrtCreateStream(stream);
CHECK_RET(ret == ACL_SUCCESS,
LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret);
aclrtResetDevice(deviceId); aclFinalize(); return ret);
return 0;
}
template <typename T>
int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr,
aclDataType dataType, aclTensor** tensor) {
auto size = GetShapeSize(shape) * sizeof(T);
// 调用aclrtMalloc申请Device侧内存
auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret);
// 调用aclrtMemcpy将Host侧数据拷贝到Device侧内存上
ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret);
// 计算连续tensor的strides
std::vector<int64_t> strides(shape.size(), 1);
for (int64_t i = shape.size() - 2; i >= 0; i--) {
strides[i] = shape[i + 1] * strides[i + 1];
}
// 调用aclCreateTensor接口创建aclTensor
*tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND,
shape.data(), shape.size(), *deviceAddr);
return 0;
}
int main() {
// 1.(固定写法)device/stream初始化,参考acl对外接口列表
// 根据自己的实际device填写deviceId
int32_t deviceId = 0;
aclrtStream stream;
auto ret = Init(deviceId, &stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret);
// 2.构造输入与输出,需要根据API的接口自定义构造
std::vector<int64_t> shape = {4, 2};
void* selfDeviceAddr = nullptr;
void* otherDeviceAddr = nullptr;
void* outDeviceAddr = nullptr;
aclTensor* self = nullptr;
aclTensor* other = nullptr;
aclScalar* alpha = nullptr;
aclTensor* out = nullptr;
std::vector<float> selfHostData = {0, 1, 2, 3, 4, 5, 6, 7};
std::vector<float> otherHostData = {2, 2, 2, 2, 2, 2, 2, 2};
std::vector<float> outHostData = {0, 0, 0, 0, 0, 0, 0, 0};
float alphaValue = 1.2f;
// 创建self aclTensor
ret = CreateAclTensor(selfHostData, shape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self);
CHECK_RET(ret == ACL_SUCCESS, return ret);
// 创建other aclTensor
ret = CreateAclTensor(otherHostData, shape, &otherDeviceAddr, aclDataType::ACL_FLOAT, &other);
CHECK_RET(ret == ACL_SUCCESS, return ret);
// 创建alpha aclScalar
alpha = aclCreateScalar(&alphaValue, aclDataType::ACL_FLOAT);
CHECK_RET(alpha != nullptr, return ret);
// 创建out aclTensor
ret = CreateAclTensor(outHostData, shape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out);
CHECK_RET(ret == ACL_SUCCESS, return ret);
// aclnnSub接口调用示例
// 3.调用CANN算子库API
uint64_t workspaceSize = 0;
aclOpExecutor* executor;
// 调用aclnnSub第一段接口
ret = aclnnSubGetWorkspaceSize(self, other, alpha, out, &workspaceSize, &executor);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnSubGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);
// 根据第一段接口计算出的workspaceSize申请device内存
void* workspaceAddr = nullptr;
if (workspaceSize > 0) {
ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret);
}
// 调用aclnnSub第二段接口
ret = aclnnSub(workspaceAddr, workspaceSize, executor, stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnSub failed. ERROR: %d\n", ret); return ret);
// 4.(固定写法)同步等待任务执行结束
ret = aclrtSynchronizeStream(stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);
// 5.获取输出的值,将device侧内存上的结果拷贝至host侧,需要根据具体API的接口定义修改
auto size = GetShapeSize(shape);
std::vector<float> resultData(size, 0);
ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr,
size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);
for (int64_t i = 0; i < size; i++) {
LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]);
}
// aclnnInplaceSub接口调用示例
// 3.调用CANN算子库API
LOG_PRINT("\ntest aclnnInplaceSub\n");
// 调用aclnnInplaceSub第一段接口
ret = aclnnInplaceSubGetWorkspaceSize(self, other, alpha, &workspaceSize, &executor);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnInplaceSubGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);
// 根据第一段接口计算出的workspaceSize申请device内存
if (workspaceSize > 0) {
ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret);
}
// 调用aclnnInplaceSub第二段接口
ret = aclnnInplaceSub(workspaceAddr, workspaceSize, executor, stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnInplaceSub failed. ERROR: %d\n", ret); return ret);
// 4.(固定写法)同步等待任务执行结束
ret = aclrtSynchronizeStream(stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);
// 5.获取输出的值,将device侧内存上的结果拷贝至host侧,需要根据具体API的接口定义修改
ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), selfDeviceAddr,
size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);
for (int64_t i = 0; i < size; i++) {
LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]);
}
// 6.释放aclTensor和aclScalar,需要根据具体API的接口定义修改
aclDestroyTensor(self);
aclDestroyTensor(other);
aclDestroyScalar(alpha);
aclDestroyTensor(out);
// 7.释放device资源,需要根据具体API的接口定义修改
aclrtFree(selfDeviceAddr);
aclrtFree(otherDeviceAddr);
aclrtFree(outDeviceAddr);
if (workspaceSize > 0) {
aclrtFree(workspaceAddr);
}
aclrtDestroyStream(stream);
aclrtResetDevice(deviceId);
aclFinalize();
return 0;
}
示例要点解读:
selfHostData = {0..7}、otherHostData = {2 x 8}、alpha = 1.2f,则非原地结果为result[i] = self[i] - 1.2 * 2,即-2.4, -1.4, ..., 3.6;原地版本结果写回 self,从selfDeviceAddr拷回验证;- 第一段接口返回值必须用
CHECK_RET(ret == ACL_SUCCESS)校验,错误码含义见上文返回码表; workspaceSize > 0时才需aclrtMalloc申请 workspace,并最终aclrtFree释放;- 结果读取必须位于
aclrtSynchronizeStream(stream)之后,保证异步任务完成; - 该示例直接来自 test_aclnn_sub.cpp,与文档示例代码一致。
配套资源:测试与更多接口
- 单算子示例:examples/test_aclnn_sub.cpp(aclnn 调用方式)、examples/test_geir_sub.cpp(图模式构图调用);
- op_api 层单测:tests/ut/op_api/test_aclnn_sub.cpp,覆盖 aclnnSub/aclnnInplaceSub 接口的 UT 验证;
- host 侧单测:tests/ut/op_host/test_sub_infershape.cpp,覆盖广播推导逻辑;
- st 测试用例:tests/st/aclnnSub/(含 atk_aclnnSub.json 与 executor_aclnnSub.py);
- 同类接口:Sub 家族还提供标量版本 aclnnSubs&aclnnInplaceSubs 文档、反向减 aclnnRsub 文档、标量反向减 aclnnRsubs 文档 以及取整减 aclnnFrac&aclnnInplaceFrac 文档,调用模式与本接口一致,可对照阅读。
掌握 aclnnSub/aclnnInplaceSub 的两段式调用、参数约束与底层计算分支后,你可以在 NPU 上高效实现带 alpha 缩放的减法运算:需要保留输入时选择 aclnnSub,需要省内存、允许覆盖输入时选择 aclnnInplaceSub,并注意广播与类型推导带来的 shape/dtype 约束。