基于 PTO 在 Ascend A5 上实现混合精度 Flash Attention 性能 Kernel:构建、运行与流水线优化实战

原创2026-09-19 12:10:501,363 阅读
文章标签:人工智能算子库CANNAscend

基于 PTO 在 Ascend A5 上实现混合精度 Flash Attention 性能 Kernel:构建、运行与流水线优化实战

导读

本文以 kernels/manual/a5/flash_atten/README.md 为主线,完整讲解如何在 CANN pto-isa 仓库中基于 PTO(Parallel Tile Operation)虚拟指令集,于 Ascend A5 平台上实现并调优一个混合精度(FP16 输入、FP32 累加)Flash Attention(FA)性能 Kernel。你将掌握:A5 示例工程的结构与构建方式、run.sh 全部命令行参数与用例配置规则、FA 2.0 的分块计算流程与四阶段 Kernel 实现(compute_qk/compute_p/compute_pv/compute_gu)、Cube/Vector 跨核流水线与 FIFO 同步机制,以及 A5 特有的三种数据通路(GM/UB)模式选型。文中的性能数据、参数默认值与实现细节均以当前仓库源码为准,可在本地环境直接复现。

背景:为什么在 A5 上需要专门的手工 FA Kernel

Flash Attention 通过"分块 + 在线 softmax 递推"避免物化完整的 S0×S1 注意力矩阵,是长序列注意力计算的标准方案。PTO 作为 Ascend CANN 面向 Tile 级运算的虚拟指令集,允许开发者在 Cube(矩阵)与 Vector(向量)两类计算核上以 Tile 粒度手工编排数据流。A5(对应 SoC 版本号形如 Ascend910_9599)相比 A2/A3 在内核架构(dav-c310)、片上内存容量与核间同步机制上均有差异,因此仓库在 kernels/manual/a5/flash_atten/ 下提供了独立的 A5 版 FA 性能示例,并与 kernels/manual/common/flash_atten/README.md 的通用算子说明(数学公式、分阶段实现、流水线编排、多核切分)配套使用。

工程目录结构

A5 版 FA 示例位于 kernels/manual/a5/flash_atten/,完整文件布局如下:

kernels/manual/a5/flash_atten/
├── scripts/
│   ├── gen_data.py                  # 生成输入与 golden 输出
│   ├── generate_cases.py            # 生成测试用例(C++ 头文件 + JSON)
│   ├── pipeline_log_analysis.py     # 流水线日志分析
│   ├── pipeline_schedule_gen.py     # 流水线调度生成
│   ├── run_timeline.sh              # 时间线分析脚本
│   └── validate_buffer_usage.py     # 校验各用例的 L1/UB 缓冲区占用
├── CMakeLists.txt                   # 构建配置(A5 arch dav-c310)
├── fa_performance_kernel.cpp        # Kernel 实现(runTFA 模板 + 四阶段)
├── fa_performance_kernel.h          # Kernel 头文件(默认调优常量 + LaunchTFA 声明)
├── main.cpp                         # Host 侧入口(参数解析 + 结果校验)
├── pto_macro_fa_gu.hpp              # FA GU(归一化/累加)宏定义
├── pto_macro_fa_softmax.hpp         # FA Softmax 宏定义
├── pto_macro_matmul.hpp             # Matmul 宏定义
└── run.sh                           # 一键构建 + 运行脚本

相比 A2/A3 通用版(见 kernels/manual/common/flash_atten),A5 目录额外提供了用例生成(generate_cases.py)、流水线时间线分析(pipeline_log_analysis.py、run_timeline.sh)与缓冲区占用校验(validate_buffer_usage.py)等工具链,并包含独立的 DN(Data Normal)版本 Kernel(fa_performance_dn_kernel.cpp 与 pto_macro_fa_dn_* 系列头文件,通过 --mode_dn 开关启用)。

构建与运行

1. 配置 Ascend CANN 环境

source ${ASCEND_INSTALL_PATH}/bin/setenv.bash

构建时 CMakeLists.txt 会检查 ASCEND_HOME_PATH 环境变量,未设置时直接报错(Cannot find ASCEND_HOME_PATH, please run set_env.sh),同时依赖 /usr/local/Ascend/driver 目录。CANN 编译器使用 bisheng,Kernel 侧以 --cce-pto-enable 开启 PTO 支持,并以 --cce-aicore-arch=dav-c310 指定 A5 内核架构。

2. 运行示例

进入示例目录后,通过 run.sh 完成"用例生成 → 缓冲区校验 → CMake 构建 → 数据生成 → 运行"全流程:

cd ${git_clone_path}/kernels/manual/a5/flash_atten

# 运行默认用例(与 generated_cases.* 内置集合一致)
bash run.sh -r npu -v Ascend910_9599

# 从内置集合中只运行一个用例
bash run.sh -r npu -v Ascend910_9599 -c case_float_H_128_S0_128_S1_1024

# 提供自定义用例(分号分隔:HEAD_SIZE,S0,S1,CUBE_S0,TILE_S1)
# TILE_S1:支持 128(=CUBE_S1)、256、512
bash run.sh -r npu -v Ascend910_9599 --cases "128,128,1024,128,128;128,2048,2048,128,512"

# 提供自定义用例,并只运行其中一个
bash run.sh -r npu -v Ascend910_9599 --cases "128,128,1024,128,128;128,512,2048,128,128" \
  -c case_float_H_128_S0_128_S1_1024

运行成功时输出:

test success

该输出由 main.cpp 中的结果校验逻辑打印:Host 侧将 Kernel 输出与 golden 数据比对后输出 test success / test failed。注意 run.sh 会校验 SoC 版本必须以 Ascend910_9599 开头,否则报 [ERROR] Unsupported SocVersion,即该目录仅支持 A5。

3. run.sh 全部命令行参数

从 run.sh 的参数解析可以看到完整开关:

短参数 长参数 含义 默认值
-r --run-mode 运行模式:npu 或 sim 必填
-v --soc-version SoC 版本,如 Ascend910_9599(仅 A5 合法) 必填
-n --npu NPU 设备 ID 0
-c --case 指定单个用例名或元组过滤 空
-a --cases 自定义用例集合,分号分隔 空
-p --qk-preload QK 流水线预热深度 2
-m --mode FIFO_MODE:0=ALL_GM、1=ALL_UB、2=QK_PV_UB_ONLY 1
-i --intermediate 使能中间结果检查(写回 GM FIFO) 关闭
-d --debug 调试构建(-DDEBUG_MODE=ON,启用 --cce-enable-print) 关闭
--mode_dn — 编译并运行 DN 版本 Kernel(fa_performance_dn) 关闭
-k --mask 使能因果掩码(causal mask) 关闭

run.sh 内部依次执行:generate_cases.py --qk-preload 生成用例 → validate_buffer_usage.py 校验缓冲区 → cmake -DRUN_MODE/-DSOC_VERSION/-DFIFO_MODE ... 构建 → gen_data.py 生成数据 → 运行 fa_performance(或 fa_performance_dn)二进制,并统一追加 --sys_cnt_multiple=1.0 参数用于系统时钟换算。

4. FIFO_MODE:A5 的三种数据通路模式

FIFO_MODE 是 A5 版 Kernel 的核心调优开关(由 -m/--mode 传入,也可在 CMake 中通过 -DFIFO_MODE 覆盖,定义见 CMakeLists.txt)。在 fa_performance_kernel.cpp 中,三种模式被精确编码:

  • MODE 0(ALL_GM_PATH):所有数据通路走全局内存(GM)做基线。QK:L0C → GM → UB(TSTORE/TLOAD);P:UB → GM → L1;PV:L0C → GM → UB。中间 Tile 均经 GM 落盘,是最朴素、最易调试的实现。
  • MODE 1(ALL_UB_PATH):全部通路走 UB/L1 直传,不经 GM 往返。QK:L0C → UB(TMOV);P:UB → L1(TMOV ND2NZ + TINSERT);PV:L0C → UB(TMOV)。
  • MODE 2(QK_PV_UB_ONLY):QK 与 PV 走 UB 直传(TMOV L0C→UB),P 通路回退 GM(TSTORE/TLOAD,不做 TMOV+TINSERT),兼顾带宽与实现复杂度。

三者的效果由宏 USE_L0C_TO_DUAL_UB_PATH_QK、USE_L0C_TO_UB_PV_PATH、USE_UB_TO_L1_PATH 组合表达。默认 FIFO_MODE=1(ALL_UB),同时源码中的 #ifndef FIFO_MODE 兜底值也给出 2(QK_PV_UB_ONLY),两种默认来源并存,读者可自行验证。所有 UB 直传模式要求 UF_ENABLE=0,否则编译期报错。

用例配置:生成规则与默认集合

用例由 scripts/generate_cases.py 生成,每条用例格式为 HEAD_SIZE,S0,S1,CUBE_S0[,TILE_S1]:

  • HEAD_SIZE:注意力头维度;
  • S0:query 序列长度(Q/O 行数);
  • S1:key/value 序列长度(K/V 行数);
  • CUBE_S0:Cube 矩阵乘按 S0 方向的分块行数;
  • TILE_S1:按 S1 方向的逻辑 Tile 大小,固定要求为 CUBE_S1=128 的整数倍,支持 128、256、512;缺省为 128。

脚本会做合法性归一化:CUBE_S0 超过 S0 或不能整除时自动回退为 S0;S1 必须能被 CUBE_S1(128) 整除;TILE_S1 必须能整除 S1。默认用例集(不传 --cases 时)为:

HEAD_SIZE S0 S1 CUBE_S0 TILE_S1
128 128 1024 128 128
128 128 2048 128 128
128 128 8192 128 128
128 512 1024 128 128
128 512 2048 128 128
128 512 8192 128 128

generate_cases.py 同时生成两个产物:build/generated_cases.h(TFA_FOR_EACH_CASE 宏 + kGeneratedTfaCases<a href="https://link.gitcode.com/i/faefb27571184e97c8a3617cb1ea8579" target="_blank">] 结构体数组,供 Host 侧遍历)与 build/generated_cases.json。Kernel 侧的 TFA_FOR_EACH_CASE(INSTANTIATE_TFA) 宏(见 [fa_performance_kernel.cpp)会为每个用例模板实例化 LaunchTFA<S0, HEAD, S1, CUBE_S0, CUBE_S1, TILE_S1, QK_PRELOAD, ...>。数据生成脚本 scripts/gen_data.py 用 np.random.seed(7) 生成 FP16 的 Q/K 输入,并以 FP32 计算 golden 的 QK、softmax 中间量与最终 O,随用例写入 q.bin/k.bin/kt.bin 等二进制文件。

Flash Attention 2.0 计算流程与张量形状

A5 版 Kernel 实现的算法本体与通用版一致(完整推导见 kernels/manual/common/flash_atten/README.md):令 Q ∈ ℝ^{S0×H}、K ∈ ℝ^{H×S1}、V ∈ ℝ^{S1×H}(H = HEAD_SIZE),单头注意力的标准形式为:

QK = Q Kᵀ ∈ ℝ^{S0×S1}
P  = softmax(QK / τ) ∈ ℝ^{S0×S1}
O  = P V ∈ ℝ^{S0×H}

其中缩放因子 τ = √HEAD_SIZE。Flash Attention 将 QK 与 P 的计算按 (S0, S1) 分块,并对 O 维护运行中的部分和,核心递推(在线 softmax)为:

  1. 局部行最大值:m_i = max_j X_ij(当前 Tile 行内最大值);
  2. 更新全局最大值:M_i = max(M_prev,i, m_i);
  3. 旧累加值重缩放因子:exp_max_i = exp(s·(M_prev,i − M_i));
  4. 逐元素指数:e_ij = exp(s·(X_ij − M_i))(FP32 缓冲 p_tile_fp32,送入矩阵乘前转 FP16);
  5. 本 Tile 行内局部和:ℓ_i = Σ_j e_ij;
  6. 更新全局和:S_i = exp_max_i · S_prev,i + ℓ_i;
  7. 最终归一化:p_ij = e_ij / S_i。

数值稳定性来自"全局最大值上升时对旧累加和的重缩放"。Kernel 存储逐元素 e_ij(即 x_exp)供 PV 矩阵乘使用,同时保留 exp_max_i 与 S_i 供 GU 阶段累加。

各阶段的张量形状(以 tile t 为例):

  • 输入:Q S0×H、K S1×H、V S1×H(均 FP16);
  • 中间:qk_tile:S0×CUBE_S1(FP32 累加,如 128×128);p_tile(x_exp):S0×CUBE_S1(FP16);pv_tile:S0×H(FP32 部分和);
  • 输出:O S0×H(FP16/FP32)。

Flash Attention 计算流程

四阶段 Kernel 实现与优化

A5 版 Kernel 将上述流程拆为四个阶段,分别在 Cube 与 Vector 核上执行(实现位于 fa_performance_kernel.cpp):

compute_qk(Cube 矩阵乘):计算 Q·K_t。Q Tile 以 leftTile 驻留方式加载——tile_id==0 时每个 Cube 调用只加载一次 Q,后续 Tile 仅加载 K,减少全局内存重读;通过 pto_macro_matmul 从 matTile 计算到 accTile,并配合 assign_running_acc_tile 让累加 accTile 在 compute_qk 与 compute_pv 之间做双缓冲。qkPreloadNum 同时决定 qkp_tile_fifo_size = 1 + qkPreloadNum,用于 Cube 生产者与 Vector softmax 消费者之间的 QK Tile 双缓冲。

compute_p(Vector softmax):数值稳定的分块 softmax。Vec_S0 = Cube_S0 / VEC_CORES / kTileFactor(VEC_CORES=2,见 fa_performance_kernel.h),两个 Vector 子核通过 get_subblockid() 对 QK/P/PV/O 缓冲做 SPMD 切分。TSOFTMAXFA 微内核实现递推式 softmax,存储每 Tile 的 l1_exp_max 与 l2_global_sum 供 GU 阶段使用。优化点包括:TROWMAX/TROWSUM 使用静态 Tile 尺寸以获得 128/256/512/1024 归约轴的最优实现;TROWEXPANDSUB 就地计算(dst==src)节省 UB;1D 归约与 2D 计算交错以复用 Vector 单元的流水气泡。

compute_pv(P·V 第二次矩阵乘):加载 V Tile 与 P Tile,生成 pv_tile_fifo 全局 FP32 缓冲,按 Tile 做 ping-pong。pv_tile_fifo_size(同样为 1 + qkPreloadNum)控制 P 生产与 GU 消费之间的缓冲深度。

compute_gu(GU 归约阶段):由 Vector 核驱动,将各 Tile 的部分 PV 累加进 runningOTile,最后一个 Tile 通过 pto_macro_fa_gu_last 用 l2_global_sum 做最终归一化除法。TROWEXPANDMUL/TROWEXPANDDIV 就地计算以减少缓冲区占用。

流水线编排与 Cube/Vector 并行

跨核 FIFO 与级内 ping-pong

Cube 与 Vector 之间的 FIFO 与级内 ping-pong

Kernel 将 Cube 与 Vector 工作拆分为独立流水线,按 S1 Tile 循环的典型流程为:

  1. Cube 流水线预热执行后续 QK Tile(compute_qk);
  2. Vector 流水线(compute_p)等待 QK 就绪,对 QK 分块运行 TSOFTMAXFA,写 P Tile 并通知 PV 消费者;
  3. Cube 流水线(compute_pv)消费 P 与 V,产出 pv_tile_fifo 写回全局内存并通知 GU;
  4. GU(compute_gu)在 Vector 核上消费 pv_tile_fifo 并累加进 runningOTile。

级内流水方面,pto_macro_matmul 与 assign_running_acc_tile 提供 leftTile/rightTile/AccTile 双缓冲;K/P/V 的 matTile 均双缓冲保证流水平滑;compute_p 的输入 QK Tile 与输出 P Tile 双缓冲,exp_max 则采用多预载缓冲支持"迟到转发"。所有 FIFO 同步基于 TMPipe 与轻量设备 flag(如 BUF0_QK_READY/BUF1_SM_READY/UPDATE_READY/UB_BUF_READY/PV_UB_BUF_READY,flag ID 间隔 2 以避免碰撞,见 fa_performance_kernel.cpp)。

预热深度与缓冲权衡

qkPreloadNum(默认 4,run.sh 中 -p 可覆盖)决定进入稳态循环前预热的 QK→P Tile 数:更大预热在长 S1 下提升 Cube/Vector 并发度,但增大 FIFO 足迹(qkGlobalTensorNBuffers/pvGlobalTensorNBuffers/guGlobalTensorNBuffers)。其余双缓冲深度(srcVecTNBuffers、xexpVecTNBuffers、outOTileNBuffers 等)默认取 1–2,源码注释明确建议仅在实测到 stall 气泡时再加深。CV_FIFO_CONS_SYNC_PERIOD 控制消费同步周期(默认 kFaCvFifoSize/2),配合 should_wait_consumption/should_notify_consumption 在"每周期同步一次"与"多通知提前一拍"之间取得折中。

缓冲区分配与合法性约束

A5 版在 fa_performance_kernel.cpp 中声明了片上内存上限:Cube 侧 L1 总计不超过 512KB(MAX_TILE_L1_BYTES),Vector 侧 UB 总计不超过 256KB(MAX_VEC_UB_BYTES,比 A2/A3 的 192KB 更大)。Vector 缓冲布局按固定顺序分配:QK 源 Tile → m1_local_max → m2_global_max → 中间指数临时 Tile → l1_local_sum → l2_global_sum → l1_exp_max 数组 → x_exp Tile → 末尾放置 runningOTile 累加器。在 UB 直传模式下,QK 源 Tile 与 PV Tile 采用独立分配(不做 union),以避免 TMOV L0C→UB 直传路径下 PV TLOAD 覆盖 QK 数据——这是针对 A5 256KB UB 的专门调整。

多核切分与负载均衡

对 BNSD 布局的 QKV 输入,中间 QK(S0,S1) 以 S1 为归约轴,因此多核切分按 (B, N, S/CUBE_S0) 进行,每核处理 S0/CUBE_S0 个 block。A5 Kernel 在 block_rows >= pto::kCvMaxCores 时通过 TSYNC_CVID 为各 block 分配通信槽位,避免 GM FIFO 缓冲浪费。因果掩码(-k/--mask)场景下,num_tiles_s1 按 1 + (block_idx * CUBE_S0) / TILE_S1 收缩,跳过下三角之外的 QK/PV 计算,实现天然负载裁剪。

A5 平台特定优化总结

相比 A2/A3 通用版(对应 kernels/manual/common/flash_atten),A5 版 FA Kernel 的针对性调整可归纳为三点:

  1. 内存层次适配:A5 的 UB 从 A2/A3 的 192KB 提升到 256KB,缓冲区分配策略相应调整——UB 直传模式下 QK 与 PV Tile 由 union 共享改为独立分配;Cube L1 限制 512KB,超限触发编译期 static_assert。
  2. Cube/Vector 同步机制优化:A5 采用轻量设备 flag(FFTS)驱动 FIFO 消费同步,flag 按"每对象两个连续 flag(record/wait + allocate/free)"布局;跨 block 通信经 TSYNC_CVID 分配槽位,规避多 block 下的 GM FIFO 冲突。
  3. 流水线深度参数适配:提供 FIFO_MODE(0/1/2 三种数据通路)、qkPreload、CV_FIFO_CONS_SYNC_PERIOD 等旋钮,并配套 validate_buffer_usage.py、pipeline_log_analysis.py、run_timeline.sh 等工具,便于按 A5 硬件特性做时间线与缓冲区实测调优。

性能数据

性能口径定义如下:S0 为 query 序列长度(Q/O 行数),S1 为 key/value 序列长度(K/V 行数),Total task time (us) 为每个 task 的端到端 Kernel 时间(微秒),GOps 为该 task 计数的总运算量,TFLOPS = GOps / time。

A5 平台参考数据(待测量)

README.md 中给出的 A5 参考性能表(当前为占位,TBD 表示待测量):

Cores S0 S1 Total task time (us) GOps TFLOPS
1 128 1024 TBD 67.11 TBD
1 128 2048 TBD 134.22 TBD
1 128 4096 TBD 268.44 TBD

GOps 与 S1 呈线性关系(S1 翻倍则 GOps 翻倍),可作为后续实测吞吐的参照基准。具体调优参数与实测数据将在后续版本持续更新。

A2/A3 平台参考(横向参考)

作为方法学参考,A2/A3 通用版在 kernels/manual/common/flash_atten/README.md 记录了归一化 TFLOPS(TFLOPS × (24 / cores_used),估算 24 核 A3 满设备吞吐),其结论包括:更大 S1 显著提升归一化吞吐(S1=1024→4096 大幅增长);S1=8192 时 1–2 核归一化吞吐接近(≈172.9 vs 171.4),表明 Kernel 逼近带宽/同步极限而非随核数线性扩展;4/8 核在较小 S1 下归一化吞吐反而更低,主要被固定开销(流水预热、同步、访存)主导。该文档还强调:模拟器数值可能显著高于板上实测(Seq=2K 场景模拟 28.59us/112.66 归一化 TFLOPS vs 板上 147.92us/21.78),做性能决策务必以板上数据为准。A5 平台同样建议遵循此原则,并可在本地按上文 bash run.sh -r npu -v Ascend910_9599 复测后回填 TBD。

延伸阅读

提示:本示例目录仅支持 A5(-v Ascend910_9599);A2/A3 请使用 kernels/manual/common/flash_atten 目录。文中 TBD 性能数据为仓库预留占位,实测请在具备 A5 板卡的环境中运行 run.sh 后填写。

登录后查看全文
pto-isa