asc-devkit 高阶 API 详解:LogSoftMax 接口原理、Tiling 与算子开发实践

原创2026-10-15 20:31:471,364 阅读
文章标签:人工智能深度学习高性能计算CANN

asc-devkit 高阶 API 详解:LogSoftMax 接口原理、Tiling 与算子开发实践

本文基于 asc-devkit 开源仓库中 LogSoftMax 接口文档 与 LogSoftMax Tiling 文档 编写,结合仓库内接口头文件、底层实现与单元测试,系统讲解如何在昇腾 AI 处理器上使用 AscendC 高阶 API LogSoftMax 完成数值稳定的 LogSoftmax 计算,包括数学原理、8 步算法流水、参数与约束、临时空间规划以及 Host 侧 Tiling 计算,帮助算子开发者独立完成从 Tiling 设计到 Kernel 调用的完整链路。

一、接口概述与产品支持情况

LogSoftMax 是 asc-devkit 提供的 Activation(激活函数)类高阶 API,用于对输入 Tensor 沿 last 轴(reduce 轴)执行 LogSoftmax 计算。与普通 Softmax 相比,LogSoftmax 先对行内数据减去最大值再做指数归一化,能够显著降低中间 exp 结果的上溢风险,同时其对数输出天然适合与交叉熵损失函数配合使用,是分类网络反向传播链路上的高频算子。

接口的公开声明位于 include/adv_api/activation/logsoftmax.h,其底层实现在不同芯片架构上分派到不同实现文件(详见下文"实现原理"一节)。

产品支持情况

依据 LogSoftMax.md 的声明,该接口的硬件支持情况如下:

产品系列 支持情况
Ascend 950PR & 950DT 系列产品 支持
Atlas A3 系列产品 支持
Atlas A2 系列产品 支持
Atlas 200I/500 A2 推理产品 不支持
Atlas 推理系列产品 AI Core 支持
Atlas 推理系列产品 Vector Core 不支持
Atlas 训练系列产品 不支持

说明:仓库头文件 logsoftmax.h 中通过 __NPU_ARCH__ 宏对架构(如 3510、9201、5102、5162、3003、3113、2002、2201 等)做编译期分派,未覆盖的架构上函数体为空实现,与上述支持矩阵保持一致。

二、功能说明与数学原理

2.1 计算公式

LogSoftMax 对输入 tensor 做 LogSoftmax 计算,计算公式如下:

LogSoftmax 计算公式(一)

LogSoftmax 计算公式(二)

计算流程本质上是"沿 last 轴取最大值 → 减去最大值 → 指数化 → 求和 → 归一化 → 取对数",其中两个关键步骤:

  1. 基于 last 轴进行 rowmax(按行取最大值),用于数值稳定性裁剪;
  2. 基于 last 轴进行 rowsum(按行求和),得到归一化分母。

为便于理解,原文档给出了等价的 Python 参考实现,其中 src 是源操作数(输入),dst、sum、max 为目的操作数(输出):

def log_softmax(src):
    # 基于last轴进行rowmax(按行取最大值)处理
    max = np.max(src, axis=-1, keepdims=True)
    sub = src - max
    exp = np.exp(sub)
    # 基于last轴进行rowsum(按行求和)处理
    sum = np.sum(exp, axis=-1, keepdims=True)
    dst = exp / sum
    dst = np.log10(dst)
    return dst, max, sum

需要注意,AscendC 的 LogSoftMax 输出的是以 10 为底的对数(np.log10),而不是自然对数。这一点与底层实现一致:在 logsoftmax_common_impl.h 中定义了常量 SCALAR_NATURE_LOG_10 = 0.4342944819,实现先用 Ln 求自然对数,再乘以该常量换算为 log10。

2.2 算法框图:8 步 Vector 流水

以 float 类型、ND 格式、shape 为 [m, k] 的输入 Tensor 为例,LogSoftMax 高阶 API 的内部算法框图如下:

LogSoftMax 算法框图

计算过程共 8 步,全部在 Vector 单元(PIPE_V)上执行:

  1. reducemax 步骤:对输入 x 的每一行数据求最大值,得到 [m, 1],计算结果保存到临时空间 temp 中;
  2. broadcast 步骤:对 temp 中 [m, 1] 的数据按 datablock 为单位做填充,例如 float 类型下将 [m, 1] 扩展成 [m, 8],同时输出 max;
  3. sub 步骤:对输入 x 的所有数据按行减去 max;
  4. exp 步骤:对 sub 之后的所有数据求 exp;
  5. reducesum 步骤:对 exp 结果的每一行数据求和得到 [m, 1],计算结果保存到临时空间 temp 中;
  6. broadcast 步骤:对 temp 中 [m, 1] 的数据按 datablock 为单位做填充(float 下扩展为 [m, 8]),同时输出 sum;
  7. div 步骤:对 exp 结果的所有数据按行除以 sum;
  8. log 步骤:对 div 后的所有数据按行做 log10 计算,输出 y。

在源码层面,ND 格式(float 输入)的这 8 步对应 logsoftmax_common_impl.h 中的 LogSoftMaxGenericNDImpl:依次调用 NewReduceMaxLastNDImpl、GenericSubNDImpl、Exp、NewReduceSumLastNDImpl、GenericDivNDImpl、GenericLogNDImpl,并通过 PipeBarrier<PIPE_V>() 在每一步之间做流水同步;half 输入时则先 Cast 到 float 中间精度计算,最后再 Cast 回 half 输出(见同文件 LogSoftMaxGenericNDImpl half 重载)。NZ(FRACTAL_NZ)格式则走 LogSoftMaxNZImpl 路径(同文件 L411-L481),对 split 分块、尾块掩码做了专门处理。

从源码结构看,float 输入全程以 float 精度计算;half 输入先提升到 float 做中间运算再转回 half,中间精度更高,但会额外消耗临时空间(见下文 Tiling 部分的空间公式)。

三、函数原型与参数说明

3.1 函数原型

template <typename T, bool isReuseSource = false, bool isDataFormatNZ = false>
__aicore__ inline void LogSoftMax(const LocalTensor<T>& dst, const LocalTensor<T>& sum, const LocalTensor<T>& max, const LocalTensor<T>& src, const LocalTensor<uint8_t>& sharedTmpBuffer, const LogSoftMaxTiling& tiling, const SoftMaxShapeInfo& softmaxShapeInfo = {})

该接口在 include/adv_api/activation/logsoftmax.h 中声明并实现为模板函数。由于内部计算涉及多次中间变换,需要额外临时空间存放中间变量,临时空间通过 sharedTmpBuffer 入参传入;空间大小的上下界由 LogSoftMax Tiling 中的 GetLogSoftMaxMaxTmpSize / GetLogSoftMaxMinTmpSize 获取。

3.2 模板参数说明

参数名 描述
T 操作数的数据类型。支持的数据类型为:half、float。
isReuseSource 是否允许修改源操作数。该参数预留,传入默认值 false 即可。
isDataFormatNZ 源操作数是否为 NZ(FRACTAL_NZ)格式。默认值为 false。

上述模板约束在 Kernel 侧参数检查 log_softmax_check_common.h 中有对应校验:DataTypeCheckFuncBasicClass::DataTypeVerifyingParameters<T, half, float>(...) 限制 T 只能为 half 或 float,ReuseSourceCheckFuncBasicClass::IsReuseSourceVerifyingParameters<false>(...) 限制复用源操作数行为。

3.3 接口参数说明

参数名 输入/输出 描述
dst 输出 目的操作数。类型为 LocalTensor,支持的 TPosition 为 VECIN/VECCALC/VECOUT。last 轴长度需要 32Byte 对齐。
sum 输出 reduceSum 操作数。数据类型需与目的操作数一致;类型为 LocalTensor,支持的 TPosition 为 VECIN/VECCALC/VECOUT。sum 的 last 轴长度固定为 32Byte(一个 datablock 长度),该 datablock 中的所有数据为同一个值,例如 half 数据类型下该 datablock 中的 16 个数均为相同的 reducesum 结果;非 last 轴长度与目的操作数保持一致。
max 输出 reduceMax 操作数。数据类型需与目的操作数一致;类型为 LocalTensor,支持的 TPosition 为 VECIN/VECCALC/VECOUT。max 的 last 轴长度固定为 32Byte,该 datablock 中所有数据为同一个值(half 下 16 个数均为相同 reducemax 结果);非 last 轴长度与目的操作数保持一致。
src 输入 源操作数。类型为 LocalTensor,支持的 TPosition 为 VECIN/VECCALC/VECOUT。源操作数数据类型需与目的操作数保持一致。
sharedTmpBuffer 输入 临时缓存。空间大小 BufferSize 的获取方式参考 LogSoftMax Tiling。类型为 LocalTensor,支持的 TPosition 为 VECIN/VECCALC/VECOUT。
tiling 输入 LogSoftMax 计算所需 Tiling 信息,获取方式参考 LogSoftMax Tiling。
softmaxShapeInfo 输入 src 的 shape 信息,类型为 SoftMaxShapeInfo,定义如下。其中:srcM 为非尾轴长度的乘积;srcK 为尾轴长度(必须 32Byte 对齐);oriSrcM 为原始非尾轴长度的乘积;oriSrcK 为原始尾轴长度。当输入输出数据格式为 NZ 格式时,尾轴长度为 reduce 轴长度(即 SoftMax 文档 中的 W0*W1),非尾轴为 H0*H1。
struct SoftMaxShapeInfo {
    uint32_t srcM;
    uint32_t srcK;
    uint32_t oriSrcM;
    uint32_t oriSrcK;
};

SoftMaxShapeInfo 的实际语义可从实现中得到印证:在 logsoftmax_base_impl.h 中,若 srcM/srcK 为 0,则直接从 Tensor 的 ShapeInfo 推导 last 轴 shape;否则以传入值构造 srcNDinfo 与 originalSrcShape,并据此区分主块与尾块计算。Kernel 侧检查逻辑(log_softmax_check_common.h)还会校验 srcK * sizeof(T) 是否 32Byte 对齐,以及 srcK * srcM 是否不超过 src Tensor 的可用空间。

3.4 返回值说明

无返回值。

四、约束说明

使用 LogSoftMax 接口需满足以下约束(依据原文档并结合源码校验逻辑整理):

  • 输入源数据需保持值域在 [-2147483647.0, 2147483647.0]。若输入不在范围内,输出结果无效。
  • 不支持源操作数与目的操作数地址重叠。
  • 不支持 sharedTmpBuffer 与源操作数和目的操作数地址重叠。
  • 操作数地址对齐要求参见通用地址对齐约束。
  • 当参数 softmaxShapeInfo 中 srcM != oriSrcM 或者 srcK != oriSrcK 时,开发者需要对 GM 上的原始输入 (oriSrcM, oriSrcK) 在 M 或 K 方向补齐数据到 (srcM, srcK)。补齐的数据会参与部分运算:
    • 在输入输出复用的场景下,API 的计算结果会覆盖 srcTensor 中补齐的原始数据;
    • 在输入输出不复用的场景下,API 的计算结果会覆盖 dstTensor 中对应 srcTensor 补齐位置的数据。
  • 针对 Ascend 950PR & 950DT 系列产品,接口内部计算对 Subnormal 的处理方式受编译选项 --cce-ftz 控制(默认值为 true):
    • 配置为 false 时,计算过程中保留 Subnormal,并按照其实际数值参与后续计算;
    • 配置为 true 时,启用 FTZ(Flush-To-Zero)模式,计算过程中产生或参与运算的 Subnormal 将按 0 处理,可能导致计算结果与保留 Subnormal 时存在精度差异。

上述"地址不重叠"约束在 Kernel 侧参数检查中也有对应实现:MultipleTensorCheckFuncBasicClass::TensorReuseVerifyingParameters(...) 对 dst、src、sumTensor、maxTensor、sharedTmpBuffer 做两两地址重叠校验(见 log_softmax_check_common.h)。

五、Host 侧 Tiling:临时空间与分片策略

LogSoftMax 的 Kernel 侧计算需要开发者预留/申请临时空间,Host 侧提供以下接口获取预留/申请的最大/最小临时空间大小,开发者基于此范围选择合适的空间大小,并调用 LogSoftMaxTilingFunc 获取 reduceSize、splitSize 等参数,作为 Tiling 参数传递到 Kernel 侧使用(详见 LogSoftMax-Tiling.md)。

  • 为保证功能正确,预留/申请的临时空间大小不能小于最小临时空间大小;
  • 在最小临时空间到最大临时空间的范围内,随着临时空间增大,Kernel 侧接口计算性能会有一定程度的优化提升。为了达到更好的性能,开发者可以根据实际的内存使用情况进行空间预留/申请。

5.1 函数原型

获取核函数(Kernel)接口计算所需最大/最小临时空间的接口:

uint32_t GetLogSoftMaxMaxTmpSize(const AscendC::TensorShape srcShape, const uint32_t dataTypeSize, const bool isReuseSource)
uint32_t GetLogSoftMaxMinTmpSize(const AscendC::TensorShape srcShape, const uint32_t dataTypeSize, const bool isReuseSource)

Tiling 计算接口:

void LogSoftMaxTilingFunc(const AscendC::TensorShape srcShape, const uint32_t dataTypeSize, const uint32_t localWorkSpaceSize, optiling::LogSoftMaxTiling& softmaxTiling)
void LogSoftMaxTilingFunc(const AscendC::TensorShape srcShape, const uint32_t dataTypeSize, const uint32_t localWorkSpaceSize, AscendC::tiling::LogSoftMaxTiling& softmaxTiling)

两个 LogSoftMaxTilingFunc 重载分别输出 optiling 与 AscendC::tiling 命名空间下的 Tiling 结构体;后一个重载内部先调用前一个,再通过 SaveToBuffer 序列化到 AscendC 侧结构体(见 logsoftmax_tiling.cpp)。其中 AscendC::tiling::LogSoftMaxTiling 的数据字段定义于 logsoftmax_tilingdata.h,包含 srcM/srcK/srcSize、outMaxM/outMaxK/outMaxSize、splitM/splitK/splitSize、reduceM/reduceK/reduceSize、rangeM/tailM/tailSplitSize/tailReduceSize 共 15 个 uint32_t 字段。

5.2 参数说明

表 1 GetLogSoftMaxMaxTmpSize / GetLogSoftMaxMinTmpSize 接口参数列表

参数名 输入/输出 功能
srcShape 输入 输入的 shape 信息,参数类型为 AscendC::TensorShape。
dataTypeSize 输入 输入的数据类型大小,单位为字节。例如输入的数据类型为 half,此处应传入 2。
isReuseSource 输入 是否复用源操作数输入的空间,与 LogSoftMax 接口一致。

表 2 LogSoftMaxTilingFunc 接口参数列表

参数名 输入/输出 功能
srcShape 输入 输入的 shape 信息,参数类型为 AscendC::TensorShape。
dataTypeSize 输入 输入的数据类型大小,单位为字节。例如输入的数据类型为 half,此处应传入 2。
localWorkSpaceSize 输入 输入的临时空间大小。
softmaxTiling 输出 传递到核函数(Kernel)侧使用的 Tiling 参数。

5.3 返回值说明

  • GetLogSoftMaxMaxTmpSize / GetLogSoftMaxMinTmpSize 返回值为最大/最小临时空间(单位:字节)。
  • LogSoftMaxTilingFunc 无返回值,结果通过 softmaxTiling 输出参数返回。

5.4 约束说明

无。

5.5 临时空间计算公式(源码级佐证)

从 logsoftmax_tiling.cpp 的实现可以推断空间大小的计算方式。设 shape 为 [srcM, srcK],elementNumPerBlk = 32 / dataTypeSize(half 为 16,float 为 8),则:

  • 非 3510/9201/5102/5162 架构(即 2002/2201 等 membase 路径):
    • 最大临时空间:srcM * (elementNumPerBlk + srcK + 64) * 4 字节;
    • 最小临时空间:(elementNumPerBlk + srcK + 64) * 4 字节。
  • 3510/9201/5102/5162 架构:取 srcM * (8 + srcK) + 64*4 + ceil(srcM/8)*8 与 srcM * (elementNumPerBlk + srcK [+ 64]) 两式的较大者。

单元测试 tests/api/adv_api/tiling/test_tiling.cpp 给出了可验证的数值示例:对 [128, 128] 的 half 输入(dataTypeSize = 2),GetLogSoftMaxMinTmpSize 期望值为 128 * (16 + 128) * 4,GetLogSoftMaxMaxTmpSize 期望值为 128 * (16 + 128 + 64) * 4。

5.6 Tiling 分片策略

LogSoftMaxTilingFunc 根据传入的 localWorkSpaceSize 计算分片(logsoftmax_tiling.cpp):

  • baseM = min(localWorkSpaceSize / 4 / (elementNumPerBlk + srcK + 64), srcM),即根据临时空间反推一次能处理的"行数";
  • 若 baseM < srcM 且 baseM > 8,先按 8(float 每 datablock 元素数)对齐取整;
  • AdjustToBasicBlockBaseM 进一步将 baseM 调整为基础块(basicblock)友好的值,并限制 baseM * srcK < 64 * 256(对应 repeat 上限 255);
  • 最终输出:srcM/srcK/srcSize、outMaxM/outMaxK(=elementNumPerBlk)/outMaxSize、splitM(=baseM)/splitK(=srcK)/splitSize、reduceM(=baseM)/reduceK(=elementNumPerBlk)/reduceSize、rangeM = srcM / baseM、tailM = srcM % baseM、tailSplitSize、tailReduceSize。

上述测试中传入 softmaxTmpSize = 100 * 1024 * 4 字节时,tilingData.get_reduceM() 的期望值为 64,说明分片算法把 128 行输入切成了两个 64 行的主块,这正是 rangeM/tailM 语义的实际体现。Kernel 侧 LogSoftMaxNDImpl 按 rangeM 循环处理主块,tailM != 0 时在循环末尾追加处理尾块,并同步更新 reduceParam 的 originalSrcM/srcM/dstM 为 tailM。

六、完整调用示例

6.1 典型调用代码

以下示例完整展示从 Host 侧获取临时空间与 Tiling、到 Kernel 侧调用 LogSoftMax 的流程。首先在 Host 侧准备 Tiling 参数:

// shape:输入的shape信息
// dtypesize:输入的数据类型大小,单位为字节

// 定义LogSoftMax算子的Tiling参数结构体实例
AscendC::tiling::LogSoftMaxTiling tilingData;
// 是否复用源操作数输入的空间,与LogSoftMax接口一致
bool isReuseSource = false;

// 获取计算所需最大临时空间(也可用GetLogSoftMaxMinTmpSize获取最小空间)
const uint32_t tmpsize = AscendC::GetLogSoftMaxMaxTmpSize(shape, dtypesize, isReuseSource);
// 计算最优分片策略并填充到tilingData结构体中,供核函数(Kernel)端使用
AscendC::LogSoftMaxTilingFunc(shape, dtypesize, tmpsize, tilingData);

然后在 Kernel 侧完成计算:

// dstLocal: 存放LogSoftMax计算结果的Tensor
// sumLocal:存放LogSoftMax计算过程中reducesum结果的Tensor
// maxLocal:存放LogSoftMax计算过程中reduceMax结果的Tensor
// srcLocal:存放LogSoftMax计算的输入Tensor
// sharedTmpBuffer: 存放LogSoftMax计算过程中临时缓存的Tensor
// softmaxTiling:存放LogSoftMax计算所需Tiling信息,可通过LogSoftMaxTilingFunc接口获取

AscendC::SoftMaxShapeInfo softmaxInfo(
    /* 非尾轴长度的乘积          */ srcM,
    /* 尾轴长度,必须32Bytes对齐 */ srcK,
    /* 原始非尾轴长度的乘积      */ oriSrcM,
    /* 原始尾轴长度              */ oriSrcK);
AscendC::LogSoftMax<DTYPE_X, false>(
    dstLocal, sumLocal, maxLocal, srcLocal, sharedTmpBuffer, softmaxTiling, softmaxInfo);

临时空间在 Kernel 侧通过 TPipe::InitBuffer 或 PopStackBuffer 预留/申请。仓库单元测试 test_operator_softmax_c310.cpp 展示了实际用法:通过 PopStackBuffer<uint8_t, AscendC::TPosition::LCM> 弹出栈上缓冲区作为 sharedTmpBuffer,并以 SoftMaxShapeInfo{alignSrcShape} / unalignedSrcShape 分别覆盖对齐与未对齐场景调用 LogSoftMax,同时覆盖了 ND 与 NZ 两种数据格式。

注意:sumLocal、maxLocal 的 last 轴长度为固定 32Byte(一个 datablock),非 last 轴长度与 dstLocal 一致;分配 Tensor 时需按该布局预留空间。

6.2 运行结果示例

以 8 行 × 8 列 float 输入为例,接口运行结果如下。

输入数据(srcLocal):

[[-100.     -80.     -60.     -50.     -30.     -20.     -15.     -10.   ]
 [  -9.      -8.      -7.      -6.      -5.      -4.      -3.      -2.   ]
 [  -1.5     -1.      -0.8     -0.6     -0.5     -0.45    -0.4     -0.35 ]
 [  -0.3     -0.25    -0.2     -0.15    -0.1     -0.05    -0.01    -0.001]
 [   0.       0.001    0.01     0.05     0.1      0.15     0.2      0.25 ]
 [   0.3      0.35     0.4      0.45     0.5      0.6      0.8      1.   ]
 [   1.5      2.       3.       4.       5.       6.       7.       8.   ]
 [   9.      10.      15.      20.      30.      50.      60.      80.   ]]

输出数据(maxLocal)——每行 8 个元素均为该行最大值(行内 broadcast):

[[-10.    -10.    -10.    -10.    -10.    -10.    -10.    -10.   ]
 [ -2.     -2.     -2.     -2.     -2.     -2.     -2.     -2.   ]
 [ -0.35   -0.35   -0.35   -0.35   -0.35   -0.35   -0.35   -0.35 ]
 [ -0.001  -0.001  -0.001  -0.001  -0.001  -0.001  -0.001  -0.001]
 [  0.25    0.25    0.25    0.25    0.25    0.25    0.25    0.25 ]
 [  1.      1.      1.      1.      1.      1.      1.      1.   ]
 [  8.      8.      8.      8.      8.      8.      8.      8.   ]
 [ 80.     80.     80.     80.     80.     80.     80.     80.   ]]

输出数据(sumLocal)——每行 8 个元素均为该行 reducesum 结果:

[[1.0067834 1.0067834 1.0067834 1.0067834 1.0067834 1.0067834 1.0067834 1.0067834]
 [1.5814459 1.5814459 1.5814459 1.5814459 1.5814459 1.5814459 1.5814459 1.5814459]
 [5.971886  5.971886  5.971886  5.971886  5.971886  5.971886  5.971886  5.971886 ]
 [7.051223  7.051223  7.051223  7.051223  7.051223  7.051223  7.051223  7.051223 ]
 [6.880514  6.880514  6.880514  6.880514  6.880514  6.880514  6.880514  6.880514 ]
 [5.239974  5.239974  5.239974  5.239974  5.239974  5.239974  5.239974  5.239974 ]
 [1.5820376 1.5820376 1.5820376 1.5820376 1.5820376 1.5820376 1.5820376 1.5820376]
 [1.        1.        1.        1.        1.        1.        1.        1.       ]]

输出数据(dstLocal)——LogSoftmax 的 log10 归一化结果:

[[-39.08944    -30.40355    -21.71766    -17.374716    -8.688826    -4.345881    -2.1744084   -0.00293603]
 [ -3.2391157   -2.8048213   -2.3705268   -1.9362322   -1.5019379   -1.0676433   -0.6333489   -0.19905435]
 [ -1.2755501   -1.0584029   -0.971544    -0.88468516  -0.8412557   -0.8195409   -0.7978263   -0.77611154]
 [ -0.97811854  -0.9564038   -0.93468904  -0.9129743   -0.89125955  -0.86954486  -0.85217315  -0.84826446]
 [ -0.9461945   -0.94576025  -0.94185156  -0.92447984  -0.90276515  -0.88105035  -0.8593356   -0.8376209 ]
 [ -1.0233353   -1.0016205   -0.97990584  -0.95819116  -0.93647635  -0.89304686  -0.806188    -0.7193291 ]
 [ -3.022131    -2.8049836   -2.3706892   -1.9363947   -1.5021002   -1.0678058   -0.6335113   -0.1992168 ]
 [-30.834908   -30.400614   -28.229141   -26.057669   -21.714724   -13.028834    -8.685889     0.        ]]

观察结果可以直观验证算法流程:首行最大值 -100,exp(-100 - (-100)) = 1,log10(1/1.0067834) ≈ -0.0029,与 dst 首行末列吻合;末行最大值 80,exp(80 - 80) = 1,log10(1/1) = 0,与 dst 末行末列一致。

七、开发实践要点总结

  1. 临时空间规划:Kernel 侧必须先通过 GetLogSoftMaxMaxTmpSize/GetLogSoftMaxMinTmpSize 获取空间上下界,再调用 LogSoftMaxTilingFunc 生成 Tiling。空间小于最小值会导致功能错误,空间取最大值附近通常可获得更优性能(更大的 baseM 分片,减少主块循环次数)。
  2. shape 对齐:srcK(reduce 轴长度)必须 32Byte 对齐;未对齐数据需在 Host 侧补齐到 (srcM, srcK),并将原始尺寸通过 oriSrcM/oriSrcK 传入 SoftMaxShapeInfo,补齐区域的数据会被 API 计算覆盖。
  3. 地址约束:src、dst、sum、max、sharedTmpBuffer 之间不允许地址重叠,Kernel 侧参数检查会在调试模式下拦截违规调用。
  4. 精度控制:half 输入会先 Cast 到 float 中间精度计算再转回 half;Ascend 950PR/950DT 上可通过 --cce-ftz 编译选项控制 Subnormal 的保留或 flush-to-zero 行为。
  5. 复用与扩展:isReuseSource 为预留参数,传默认值 false 即可;若源数据为 NZ 格式,需将模板参数 isDataFormatNZ 置为 true,实现会切换到 LogSoftMaxNZImpl 路径。

八、参考资源

登录后查看全文
asc-devkit