asc-devkit 高阶 API 详解:LogSoftMax 接口原理、Tiling 与算子开发实践
asc-devkit 高阶 API 详解:LogSoftMax 接口原理、Tiling 与算子开发实践
本文基于 asc-devkit 开源仓库中 LogSoftMax 接口文档 与 LogSoftMax Tiling 文档 编写,结合仓库内接口头文件、底层实现与单元测试,系统讲解如何在昇腾 AI 处理器上使用 AscendC 高阶 API
LogSoftMax完成数值稳定的 LogSoftmax 计算,包括数学原理、8 步算法流水、参数与约束、临时空间规划以及 Host 侧 Tiling 计算,帮助算子开发者独立完成从 Tiling 设计到 Kernel 调用的完整链路。
一、接口概述与产品支持情况
LogSoftMax 是 asc-devkit 提供的 Activation(激活函数)类高阶 API,用于对输入 Tensor 沿 last 轴(reduce 轴)执行 LogSoftmax 计算。与普通 Softmax 相比,LogSoftmax 先对行内数据减去最大值再做指数归一化,能够显著降低中间 exp 结果的上溢风险,同时其对数输出天然适合与交叉熵损失函数配合使用,是分类网络反向传播链路上的高频算子。
接口的公开声明位于 include/adv_api/activation/logsoftmax.h,其底层实现在不同芯片架构上分派到不同实现文件(详见下文"实现原理"一节)。
产品支持情况
依据 LogSoftMax.md 的声明,该接口的硬件支持情况如下:
| 产品系列 | 支持情况 |
|---|---|
| Ascend 950PR & 950DT 系列产品 | 支持 |
| Atlas A3 系列产品 | 支持 |
| Atlas A2 系列产品 | 支持 |
| Atlas 200I/500 A2 推理产品 | 不支持 |
| Atlas 推理系列产品 AI Core | 支持 |
| Atlas 推理系列产品 Vector Core | 不支持 |
| Atlas 训练系列产品 | 不支持 |
说明:仓库头文件 logsoftmax.h 中通过
__NPU_ARCH__宏对架构(如 3510、9201、5102、5162、3003、3113、2002、2201 等)做编译期分派,未覆盖的架构上函数体为空实现,与上述支持矩阵保持一致。
二、功能说明与数学原理
2.1 计算公式
LogSoftMax 对输入 tensor 做 LogSoftmax 计算,计算公式如下:
计算流程本质上是"沿 last 轴取最大值 → 减去最大值 → 指数化 → 求和 → 归一化 → 取对数",其中两个关键步骤:
- 基于 last 轴进行 rowmax(按行取最大值),用于数值稳定性裁剪;
- 基于 last 轴进行 rowsum(按行求和),得到归一化分母。
为便于理解,原文档给出了等价的 Python 参考实现,其中 src 是源操作数(输入),dst、sum、max 为目的操作数(输出):
def log_softmax(src):
# 基于last轴进行rowmax(按行取最大值)处理
max = np.max(src, axis=-1, keepdims=True)
sub = src - max
exp = np.exp(sub)
# 基于last轴进行rowsum(按行求和)处理
sum = np.sum(exp, axis=-1, keepdims=True)
dst = exp / sum
dst = np.log10(dst)
return dst, max, sum
需要注意,AscendC 的 LogSoftMax 输出的是以 10 为底的对数(np.log10),而不是自然对数。这一点与底层实现一致:在 logsoftmax_common_impl.h 中定义了常量 SCALAR_NATURE_LOG_10 = 0.4342944819,实现先用 Ln 求自然对数,再乘以该常量换算为 log10。
2.2 算法框图:8 步 Vector 流水
以 float 类型、ND 格式、shape 为 [m, k] 的输入 Tensor 为例,LogSoftMax 高阶 API 的内部算法框图如下:
LogSoftMax 算法框图
计算过程共 8 步,全部在 Vector 单元(PIPE_V)上执行:
- reducemax 步骤:对输入 x 的每一行数据求最大值,得到
[m, 1],计算结果保存到临时空间 temp 中; - broadcast 步骤:对 temp 中
[m, 1]的数据按 datablock 为单位做填充,例如 float 类型下将[m, 1]扩展成[m, 8],同时输出 max; - sub 步骤:对输入 x 的所有数据按行减去 max;
- exp 步骤:对 sub 之后的所有数据求 exp;
- reducesum 步骤:对 exp 结果的每一行数据求和得到
[m, 1],计算结果保存到临时空间 temp 中; - broadcast 步骤:对 temp 中
[m, 1]的数据按 datablock 为单位做填充(float 下扩展为[m, 8]),同时输出 sum; - div 步骤:对 exp 结果的所有数据按行除以 sum;
- log 步骤:对 div 后的所有数据按行做 log10 计算,输出 y。
在源码层面,ND 格式(float 输入)的这 8 步对应 logsoftmax_common_impl.h 中的 LogSoftMaxGenericNDImpl:依次调用 NewReduceMaxLastNDImpl、GenericSubNDImpl、Exp、NewReduceSumLastNDImpl、GenericDivNDImpl、GenericLogNDImpl,并通过 PipeBarrier<PIPE_V>() 在每一步之间做流水同步;half 输入时则先 Cast 到 float 中间精度计算,最后再 Cast 回 half 输出(见同文件 LogSoftMaxGenericNDImpl half 重载)。NZ(FRACTAL_NZ)格式则走 LogSoftMaxNZImpl 路径(同文件 L411-L481),对 split 分块、尾块掩码做了专门处理。
从源码结构看,float 输入全程以 float 精度计算;half 输入先提升到 float 做中间运算再转回 half,中间精度更高,但会额外消耗临时空间(见下文 Tiling 部分的空间公式)。
三、函数原型与参数说明
3.1 函数原型
template <typename T, bool isReuseSource = false, bool isDataFormatNZ = false>
__aicore__ inline void LogSoftMax(const LocalTensor<T>& dst, const LocalTensor<T>& sum, const LocalTensor<T>& max, const LocalTensor<T>& src, const LocalTensor<uint8_t>& sharedTmpBuffer, const LogSoftMaxTiling& tiling, const SoftMaxShapeInfo& softmaxShapeInfo = {})
该接口在 include/adv_api/activation/logsoftmax.h 中声明并实现为模板函数。由于内部计算涉及多次中间变换,需要额外临时空间存放中间变量,临时空间通过 sharedTmpBuffer 入参传入;空间大小的上下界由 LogSoftMax Tiling 中的 GetLogSoftMaxMaxTmpSize / GetLogSoftMaxMinTmpSize 获取。
3.2 模板参数说明
| 参数名 | 描述 |
|---|---|
| T | 操作数的数据类型。支持的数据类型为:half、float。 |
| isReuseSource | 是否允许修改源操作数。该参数预留,传入默认值 false 即可。 |
| isDataFormatNZ | 源操作数是否为 NZ(FRACTAL_NZ)格式。默认值为 false。 |
上述模板约束在 Kernel 侧参数检查 log_softmax_check_common.h 中有对应校验:DataTypeCheckFuncBasicClass::DataTypeVerifyingParameters<T, half, float>(...) 限制 T 只能为 half 或 float,ReuseSourceCheckFuncBasicClass::IsReuseSourceVerifyingParameters<false>(...) 限制复用源操作数行为。
3.3 接口参数说明
| 参数名 | 输入/输出 | 描述 |
|---|---|---|
| dst | 输出 | 目的操作数。类型为 LocalTensor,支持的 TPosition 为 VECIN/VECCALC/VECOUT。last 轴长度需要 32Byte 对齐。 |
| sum | 输出 | reduceSum 操作数。数据类型需与目的操作数一致;类型为 LocalTensor,支持的 TPosition 为 VECIN/VECCALC/VECOUT。sum 的 last 轴长度固定为 32Byte(一个 datablock 长度),该 datablock 中的所有数据为同一个值,例如 half 数据类型下该 datablock 中的 16 个数均为相同的 reducesum 结果;非 last 轴长度与目的操作数保持一致。 |
| max | 输出 | reduceMax 操作数。数据类型需与目的操作数一致;类型为 LocalTensor,支持的 TPosition 为 VECIN/VECCALC/VECOUT。max 的 last 轴长度固定为 32Byte,该 datablock 中所有数据为同一个值(half 下 16 个数均为相同 reducemax 结果);非 last 轴长度与目的操作数保持一致。 |
| src | 输入 | 源操作数。类型为 LocalTensor,支持的 TPosition 为 VECIN/VECCALC/VECOUT。源操作数数据类型需与目的操作数保持一致。 |
| sharedTmpBuffer | 输入 | 临时缓存。空间大小 BufferSize 的获取方式参考 LogSoftMax Tiling。类型为 LocalTensor,支持的 TPosition 为 VECIN/VECCALC/VECOUT。 |
| tiling | 输入 | LogSoftMax 计算所需 Tiling 信息,获取方式参考 LogSoftMax Tiling。 |
| softmaxShapeInfo | 输入 | src 的 shape 信息,类型为 SoftMaxShapeInfo,定义如下。其中:srcM 为非尾轴长度的乘积;srcK 为尾轴长度(必须 32Byte 对齐);oriSrcM 为原始非尾轴长度的乘积;oriSrcK 为原始尾轴长度。当输入输出数据格式为 NZ 格式时,尾轴长度为 reduce 轴长度(即 SoftMax 文档 中的 W0*W1),非尾轴为 H0*H1。 |
struct SoftMaxShapeInfo {
uint32_t srcM;
uint32_t srcK;
uint32_t oriSrcM;
uint32_t oriSrcK;
};
SoftMaxShapeInfo 的实际语义可从实现中得到印证:在 logsoftmax_base_impl.h 中,若 srcM/srcK 为 0,则直接从 Tensor 的 ShapeInfo 推导 last 轴 shape;否则以传入值构造 srcNDinfo 与 originalSrcShape,并据此区分主块与尾块计算。Kernel 侧检查逻辑(log_softmax_check_common.h)还会校验 srcK * sizeof(T) 是否 32Byte 对齐,以及 srcK * srcM 是否不超过 src Tensor 的可用空间。
3.4 返回值说明
无返回值。
四、约束说明
使用 LogSoftMax 接口需满足以下约束(依据原文档并结合源码校验逻辑整理):
- 输入源数据需保持值域在
[-2147483647.0, 2147483647.0]。若输入不在范围内,输出结果无效。 - 不支持源操作数与目的操作数地址重叠。
- 不支持
sharedTmpBuffer与源操作数和目的操作数地址重叠。 - 操作数地址对齐要求参见通用地址对齐约束。
- 当参数
softmaxShapeInfo中srcM != oriSrcM或者srcK != oriSrcK时,开发者需要对 GM 上的原始输入(oriSrcM, oriSrcK)在 M 或 K 方向补齐数据到(srcM, srcK)。补齐的数据会参与部分运算:- 在输入输出复用的场景下,API 的计算结果会覆盖 srcTensor 中补齐的原始数据;
- 在输入输出不复用的场景下,API 的计算结果会覆盖 dstTensor 中对应 srcTensor 补齐位置的数据。
- 针对 Ascend 950PR & 950DT 系列产品,接口内部计算对 Subnormal 的处理方式受编译选项
--cce-ftz控制(默认值为true):- 配置为
false时,计算过程中保留 Subnormal,并按照其实际数值参与后续计算; - 配置为
true时,启用 FTZ(Flush-To-Zero)模式,计算过程中产生或参与运算的 Subnormal 将按 0 处理,可能导致计算结果与保留 Subnormal 时存在精度差异。
- 配置为
上述"地址不重叠"约束在 Kernel 侧参数检查中也有对应实现:MultipleTensorCheckFuncBasicClass::TensorReuseVerifyingParameters(...) 对 dst、src、sumTensor、maxTensor、sharedTmpBuffer 做两两地址重叠校验(见 log_softmax_check_common.h)。
五、Host 侧 Tiling:临时空间与分片策略
LogSoftMax 的 Kernel 侧计算需要开发者预留/申请临时空间,Host 侧提供以下接口获取预留/申请的最大/最小临时空间大小,开发者基于此范围选择合适的空间大小,并调用 LogSoftMaxTilingFunc 获取 reduceSize、splitSize 等参数,作为 Tiling 参数传递到 Kernel 侧使用(详见 LogSoftMax-Tiling.md)。
- 为保证功能正确,预留/申请的临时空间大小不能小于最小临时空间大小;
- 在最小临时空间到最大临时空间的范围内,随着临时空间增大,Kernel 侧接口计算性能会有一定程度的优化提升。为了达到更好的性能,开发者可以根据实际的内存使用情况进行空间预留/申请。
5.1 函数原型
获取核函数(Kernel)接口计算所需最大/最小临时空间的接口:
uint32_t GetLogSoftMaxMaxTmpSize(const AscendC::TensorShape srcShape, const uint32_t dataTypeSize, const bool isReuseSource)
uint32_t GetLogSoftMaxMinTmpSize(const AscendC::TensorShape srcShape, const uint32_t dataTypeSize, const bool isReuseSource)
Tiling 计算接口:
void LogSoftMaxTilingFunc(const AscendC::TensorShape srcShape, const uint32_t dataTypeSize, const uint32_t localWorkSpaceSize, optiling::LogSoftMaxTiling& softmaxTiling)
void LogSoftMaxTilingFunc(const AscendC::TensorShape srcShape, const uint32_t dataTypeSize, const uint32_t localWorkSpaceSize, AscendC::tiling::LogSoftMaxTiling& softmaxTiling)
两个 LogSoftMaxTilingFunc 重载分别输出 optiling 与 AscendC::tiling 命名空间下的 Tiling 结构体;后一个重载内部先调用前一个,再通过 SaveToBuffer 序列化到 AscendC 侧结构体(见 logsoftmax_tiling.cpp)。其中 AscendC::tiling::LogSoftMaxTiling 的数据字段定义于 logsoftmax_tilingdata.h,包含 srcM/srcK/srcSize、outMaxM/outMaxK/outMaxSize、splitM/splitK/splitSize、reduceM/reduceK/reduceSize、rangeM/tailM/tailSplitSize/tailReduceSize 共 15 个 uint32_t 字段。
5.2 参数说明
表 1 GetLogSoftMaxMaxTmpSize / GetLogSoftMaxMinTmpSize 接口参数列表
| 参数名 | 输入/输出 | 功能 |
|---|---|---|
| srcShape | 输入 | 输入的 shape 信息,参数类型为 AscendC::TensorShape。 |
| dataTypeSize | 输入 | 输入的数据类型大小,单位为字节。例如输入的数据类型为 half,此处应传入 2。 |
| isReuseSource | 输入 | 是否复用源操作数输入的空间,与 LogSoftMax 接口一致。 |
表 2 LogSoftMaxTilingFunc 接口参数列表
| 参数名 | 输入/输出 | 功能 |
|---|---|---|
| srcShape | 输入 | 输入的 shape 信息,参数类型为 AscendC::TensorShape。 |
| dataTypeSize | 输入 | 输入的数据类型大小,单位为字节。例如输入的数据类型为 half,此处应传入 2。 |
| localWorkSpaceSize | 输入 | 输入的临时空间大小。 |
| softmaxTiling | 输出 | 传递到核函数(Kernel)侧使用的 Tiling 参数。 |
5.3 返回值说明
GetLogSoftMaxMaxTmpSize/GetLogSoftMaxMinTmpSize返回值为最大/最小临时空间(单位:字节)。LogSoftMaxTilingFunc无返回值,结果通过softmaxTiling输出参数返回。
5.4 约束说明
无。
5.5 临时空间计算公式(源码级佐证)
从 logsoftmax_tiling.cpp 的实现可以推断空间大小的计算方式。设 shape 为 [srcM, srcK],elementNumPerBlk = 32 / dataTypeSize(half 为 16,float 为 8),则:
- 非 3510/9201/5102/5162 架构(即 2002/2201 等 membase 路径):
- 最大临时空间:
srcM * (elementNumPerBlk + srcK + 64) * 4字节; - 最小临时空间:
(elementNumPerBlk + srcK + 64) * 4字节。
- 最大临时空间:
- 3510/9201/5102/5162 架构:取
srcM * (8 + srcK) + 64*4 + ceil(srcM/8)*8与srcM * (elementNumPerBlk + srcK [+ 64])两式的较大者。
单元测试 tests/api/adv_api/tiling/test_tiling.cpp 给出了可验证的数值示例:对 [128, 128] 的 half 输入(dataTypeSize = 2),GetLogSoftMaxMinTmpSize 期望值为 128 * (16 + 128) * 4,GetLogSoftMaxMaxTmpSize 期望值为 128 * (16 + 128 + 64) * 4。
5.6 Tiling 分片策略
LogSoftMaxTilingFunc 根据传入的 localWorkSpaceSize 计算分片(logsoftmax_tiling.cpp):
baseM = min(localWorkSpaceSize / 4 / (elementNumPerBlk + srcK + 64), srcM),即根据临时空间反推一次能处理的"行数";- 若
baseM < srcM且baseM > 8,先按 8(float 每 datablock 元素数)对齐取整; AdjustToBasicBlockBaseM进一步将 baseM 调整为基础块(basicblock)友好的值,并限制baseM * srcK < 64 * 256(对应 repeat 上限 255);- 最终输出:
srcM/srcK/srcSize、outMaxM/outMaxK(=elementNumPerBlk)/outMaxSize、splitM(=baseM)/splitK(=srcK)/splitSize、reduceM(=baseM)/reduceK(=elementNumPerBlk)/reduceSize、rangeM = srcM / baseM、tailM = srcM % baseM、tailSplitSize、tailReduceSize。
上述测试中传入 softmaxTmpSize = 100 * 1024 * 4 字节时,tilingData.get_reduceM() 的期望值为 64,说明分片算法把 128 行输入切成了两个 64 行的主块,这正是 rangeM/tailM 语义的实际体现。Kernel 侧 LogSoftMaxNDImpl 按 rangeM 循环处理主块,tailM != 0 时在循环末尾追加处理尾块,并同步更新 reduceParam 的 originalSrcM/srcM/dstM 为 tailM。
六、完整调用示例
6.1 典型调用代码
以下示例完整展示从 Host 侧获取临时空间与 Tiling、到 Kernel 侧调用 LogSoftMax 的流程。首先在 Host 侧准备 Tiling 参数:
// shape:输入的shape信息
// dtypesize:输入的数据类型大小,单位为字节
// 定义LogSoftMax算子的Tiling参数结构体实例
AscendC::tiling::LogSoftMaxTiling tilingData;
// 是否复用源操作数输入的空间,与LogSoftMax接口一致
bool isReuseSource = false;
// 获取计算所需最大临时空间(也可用GetLogSoftMaxMinTmpSize获取最小空间)
const uint32_t tmpsize = AscendC::GetLogSoftMaxMaxTmpSize(shape, dtypesize, isReuseSource);
// 计算最优分片策略并填充到tilingData结构体中,供核函数(Kernel)端使用
AscendC::LogSoftMaxTilingFunc(shape, dtypesize, tmpsize, tilingData);
然后在 Kernel 侧完成计算:
// dstLocal: 存放LogSoftMax计算结果的Tensor
// sumLocal:存放LogSoftMax计算过程中reducesum结果的Tensor
// maxLocal:存放LogSoftMax计算过程中reduceMax结果的Tensor
// srcLocal:存放LogSoftMax计算的输入Tensor
// sharedTmpBuffer: 存放LogSoftMax计算过程中临时缓存的Tensor
// softmaxTiling:存放LogSoftMax计算所需Tiling信息,可通过LogSoftMaxTilingFunc接口获取
AscendC::SoftMaxShapeInfo softmaxInfo(
/* 非尾轴长度的乘积 */ srcM,
/* 尾轴长度,必须32Bytes对齐 */ srcK,
/* 原始非尾轴长度的乘积 */ oriSrcM,
/* 原始尾轴长度 */ oriSrcK);
AscendC::LogSoftMax<DTYPE_X, false>(
dstLocal, sumLocal, maxLocal, srcLocal, sharedTmpBuffer, softmaxTiling, softmaxInfo);
临时空间在 Kernel 侧通过 TPipe::InitBuffer 或 PopStackBuffer 预留/申请。仓库单元测试 test_operator_softmax_c310.cpp 展示了实际用法:通过 PopStackBuffer<uint8_t, AscendC::TPosition::LCM> 弹出栈上缓冲区作为 sharedTmpBuffer,并以 SoftMaxShapeInfo{alignSrcShape} / unalignedSrcShape 分别覆盖对齐与未对齐场景调用 LogSoftMax,同时覆盖了 ND 与 NZ 两种数据格式。
注意:
sumLocal、maxLocal的 last 轴长度为固定 32Byte(一个 datablock),非 last 轴长度与dstLocal一致;分配 Tensor 时需按该布局预留空间。
6.2 运行结果示例
以 8 行 × 8 列 float 输入为例,接口运行结果如下。
输入数据(srcLocal):
[[-100. -80. -60. -50. -30. -20. -15. -10. ]
[ -9. -8. -7. -6. -5. -4. -3. -2. ]
[ -1.5 -1. -0.8 -0.6 -0.5 -0.45 -0.4 -0.35 ]
[ -0.3 -0.25 -0.2 -0.15 -0.1 -0.05 -0.01 -0.001]
[ 0. 0.001 0.01 0.05 0.1 0.15 0.2 0.25 ]
[ 0.3 0.35 0.4 0.45 0.5 0.6 0.8 1. ]
[ 1.5 2. 3. 4. 5. 6. 7. 8. ]
[ 9. 10. 15. 20. 30. 50. 60. 80. ]]
输出数据(maxLocal)——每行 8 个元素均为该行最大值(行内 broadcast):
[[-10. -10. -10. -10. -10. -10. -10. -10. ]
[ -2. -2. -2. -2. -2. -2. -2. -2. ]
[ -0.35 -0.35 -0.35 -0.35 -0.35 -0.35 -0.35 -0.35 ]
[ -0.001 -0.001 -0.001 -0.001 -0.001 -0.001 -0.001 -0.001]
[ 0.25 0.25 0.25 0.25 0.25 0.25 0.25 0.25 ]
[ 1. 1. 1. 1. 1. 1. 1. 1. ]
[ 8. 8. 8. 8. 8. 8. 8. 8. ]
[ 80. 80. 80. 80. 80. 80. 80. 80. ]]
输出数据(sumLocal)——每行 8 个元素均为该行 reducesum 结果:
[[1.0067834 1.0067834 1.0067834 1.0067834 1.0067834 1.0067834 1.0067834 1.0067834]
[1.5814459 1.5814459 1.5814459 1.5814459 1.5814459 1.5814459 1.5814459 1.5814459]
[5.971886 5.971886 5.971886 5.971886 5.971886 5.971886 5.971886 5.971886 ]
[7.051223 7.051223 7.051223 7.051223 7.051223 7.051223 7.051223 7.051223 ]
[6.880514 6.880514 6.880514 6.880514 6.880514 6.880514 6.880514 6.880514 ]
[5.239974 5.239974 5.239974 5.239974 5.239974 5.239974 5.239974 5.239974 ]
[1.5820376 1.5820376 1.5820376 1.5820376 1.5820376 1.5820376 1.5820376 1.5820376]
[1. 1. 1. 1. 1. 1. 1. 1. ]]
输出数据(dstLocal)——LogSoftmax 的 log10 归一化结果:
[[-39.08944 -30.40355 -21.71766 -17.374716 -8.688826 -4.345881 -2.1744084 -0.00293603]
[ -3.2391157 -2.8048213 -2.3705268 -1.9362322 -1.5019379 -1.0676433 -0.6333489 -0.19905435]
[ -1.2755501 -1.0584029 -0.971544 -0.88468516 -0.8412557 -0.8195409 -0.7978263 -0.77611154]
[ -0.97811854 -0.9564038 -0.93468904 -0.9129743 -0.89125955 -0.86954486 -0.85217315 -0.84826446]
[ -0.9461945 -0.94576025 -0.94185156 -0.92447984 -0.90276515 -0.88105035 -0.8593356 -0.8376209 ]
[ -1.0233353 -1.0016205 -0.97990584 -0.95819116 -0.93647635 -0.89304686 -0.806188 -0.7193291 ]
[ -3.022131 -2.8049836 -2.3706892 -1.9363947 -1.5021002 -1.0678058 -0.6335113 -0.1992168 ]
[-30.834908 -30.400614 -28.229141 -26.057669 -21.714724 -13.028834 -8.685889 0. ]]
观察结果可以直观验证算法流程:首行最大值 -100,exp(-100 - (-100)) = 1,log10(1/1.0067834) ≈ -0.0029,与 dst 首行末列吻合;末行最大值 80,exp(80 - 80) = 1,log10(1/1) = 0,与 dst 末行末列一致。
七、开发实践要点总结
- 临时空间规划:Kernel 侧必须先通过
GetLogSoftMaxMaxTmpSize/GetLogSoftMaxMinTmpSize获取空间上下界,再调用LogSoftMaxTilingFunc生成 Tiling。空间小于最小值会导致功能错误,空间取最大值附近通常可获得更优性能(更大的baseM分片,减少主块循环次数)。 - shape 对齐:
srcK(reduce 轴长度)必须 32Byte 对齐;未对齐数据需在 Host 侧补齐到(srcM, srcK),并将原始尺寸通过oriSrcM/oriSrcK传入SoftMaxShapeInfo,补齐区域的数据会被 API 计算覆盖。 - 地址约束:
src、dst、sum、max、sharedTmpBuffer之间不允许地址重叠,Kernel 侧参数检查会在调试模式下拦截违规调用。 - 精度控制:half 输入会先 Cast 到 float 中间精度计算再转回 half;Ascend 950PR/950DT 上可通过
--cce-ftz编译选项控制 Subnormal 的保留或 flush-to-zero 行为。 - 复用与扩展:
isReuseSource为预留参数,传默认值false即可;若源数据为 NZ 格式,需将模板参数isDataFormatNZ置为true,实现会切换到LogSoftMaxNZImpl路径。
八、参考资源
- 接口文档:LogSoftMax.md、LogSoftMax-Tiling.md
- 公开头文件:include/adv_api/activation/logsoftmax.h、include/adv_api/activation/logsoftmax_tiling.h、include/adv_api/activation/logsoftmax_tilingdata.h
- 底层实现:impl/adv_api/detail/activation/softmax/logsoftmax_base_impl.h、impl/adv_api/detail/activation/softmax/membase/common/logsoftmax_common_impl.h、impl/adv_api/tiling/activation/logsoftmax_tiling.cpp
- 参数检查:impl/adv_api/detail/api_check/kernel_check/activation/softmax/log_softmax/log_softmax_check_common.h
- 测试用例:tests/api/adv_api/activation/softmax/test_operator_softmax_c310.cpp、tests/api/adv_api/tiling/test_tiling.cpp

