基于 PTO 在 Ascend A5 上实现混合精度 Flash Attention 性能 Kernel:构建、运行与流水线优化实战
基于 PTO 在 Ascend A5 上实现混合精度 Flash Attention 性能 Kernel:构建、运行与流水线优化实战
导读
本文以 kernels/manual/a5/flash_atten/README.md 为主线,完整讲解如何在 CANN pto-isa 仓库中基于 PTO(Parallel Tile Operation)虚拟指令集,于 Ascend A5 平台上实现并调优一个混合精度(FP16 输入、FP32 累加)Flash Attention(FA)性能 Kernel。你将掌握:A5 示例工程的结构与构建方式、run.sh 全部命令行参数与用例配置规则、FA 2.0 的分块计算流程与四阶段 Kernel 实现(compute_qk/compute_p/compute_pv/compute_gu)、Cube/Vector 跨核流水线与 FIFO 同步机制,以及 A5 特有的三种数据通路(GM/UB)模式选型。文中的性能数据、参数默认值与实现细节均以当前仓库源码为准,可在本地环境直接复现。
背景:为什么在 A5 上需要专门的手工 FA Kernel
Flash Attention 通过"分块 + 在线 softmax 递推"避免物化完整的 S0×S1 注意力矩阵,是长序列注意力计算的标准方案。PTO 作为 Ascend CANN 面向 Tile 级运算的虚拟指令集,允许开发者在 Cube(矩阵)与 Vector(向量)两类计算核上以 Tile 粒度手工编排数据流。A5(对应 SoC 版本号形如 Ascend910_9599)相比 A2/A3 在内核架构(dav-c310)、片上内存容量与核间同步机制上均有差异,因此仓库在 kernels/manual/a5/flash_atten/ 下提供了独立的 A5 版 FA 性能示例,并与 kernels/manual/common/flash_atten/README.md 的通用算子说明(数学公式、分阶段实现、流水线编排、多核切分)配套使用。
工程目录结构
A5 版 FA 示例位于 kernels/manual/a5/flash_atten/,完整文件布局如下:
kernels/manual/a5/flash_atten/
├── scripts/
│ ├── gen_data.py # 生成输入与 golden 输出
│ ├── generate_cases.py # 生成测试用例(C++ 头文件 + JSON)
│ ├── pipeline_log_analysis.py # 流水线日志分析
│ ├── pipeline_schedule_gen.py # 流水线调度生成
│ ├── run_timeline.sh # 时间线分析脚本
│ └── validate_buffer_usage.py # 校验各用例的 L1/UB 缓冲区占用
├── CMakeLists.txt # 构建配置(A5 arch dav-c310)
├── fa_performance_kernel.cpp # Kernel 实现(runTFA 模板 + 四阶段)
├── fa_performance_kernel.h # Kernel 头文件(默认调优常量 + LaunchTFA 声明)
├── main.cpp # Host 侧入口(参数解析 + 结果校验)
├── pto_macro_fa_gu.hpp # FA GU(归一化/累加)宏定义
├── pto_macro_fa_softmax.hpp # FA Softmax 宏定义
├── pto_macro_matmul.hpp # Matmul 宏定义
└── run.sh # 一键构建 + 运行脚本
相比 A2/A3 通用版(见 kernels/manual/common/flash_atten),A5 目录额外提供了用例生成(generate_cases.py)、流水线时间线分析(pipeline_log_analysis.py、run_timeline.sh)与缓冲区占用校验(validate_buffer_usage.py)等工具链,并包含独立的 DN(Data Normal)版本 Kernel(fa_performance_dn_kernel.cpp 与 pto_macro_fa_dn_* 系列头文件,通过 --mode_dn 开关启用)。
构建与运行
1. 配置 Ascend CANN 环境
source ${ASCEND_INSTALL_PATH}/bin/setenv.bash
构建时 CMakeLists.txt 会检查 ASCEND_HOME_PATH 环境变量,未设置时直接报错(Cannot find ASCEND_HOME_PATH, please run set_env.sh),同时依赖 /usr/local/Ascend/driver 目录。CANN 编译器使用 bisheng,Kernel 侧以 --cce-pto-enable 开启 PTO 支持,并以 --cce-aicore-arch=dav-c310 指定 A5 内核架构。
2. 运行示例
进入示例目录后,通过 run.sh 完成"用例生成 → 缓冲区校验 → CMake 构建 → 数据生成 → 运行"全流程:
cd ${git_clone_path}/kernels/manual/a5/flash_atten
# 运行默认用例(与 generated_cases.* 内置集合一致)
bash run.sh -r npu -v Ascend910_9599
# 从内置集合中只运行一个用例
bash run.sh -r npu -v Ascend910_9599 -c case_float_H_128_S0_128_S1_1024
# 提供自定义用例(分号分隔:HEAD_SIZE,S0,S1,CUBE_S0,TILE_S1)
# TILE_S1:支持 128(=CUBE_S1)、256、512
bash run.sh -r npu -v Ascend910_9599 --cases "128,128,1024,128,128;128,2048,2048,128,512"
# 提供自定义用例,并只运行其中一个
bash run.sh -r npu -v Ascend910_9599 --cases "128,128,1024,128,128;128,512,2048,128,128" \
-c case_float_H_128_S0_128_S1_1024
运行成功时输出:
test success
该输出由 main.cpp 中的结果校验逻辑打印:Host 侧将 Kernel 输出与 golden 数据比对后输出 test success / test failed。注意 run.sh 会校验 SoC 版本必须以 Ascend910_9599 开头,否则报 [ERROR] Unsupported SocVersion,即该目录仅支持 A5。
3. run.sh 全部命令行参数
从 run.sh 的参数解析可以看到完整开关:
| 短参数 | 长参数 | 含义 | 默认值 |
|---|---|---|---|
-r |
--run-mode |
运行模式:npu 或 sim |
必填 |
-v |
--soc-version |
SoC 版本,如 Ascend910_9599(仅 A5 合法) |
必填 |
-n |
--npu |
NPU 设备 ID | 0 |
-c |
--case |
指定单个用例名或元组过滤 | 空 |
-a |
--cases |
自定义用例集合,分号分隔 | 空 |
-p |
--qk-preload |
QK 流水线预热深度 | 2 |
-m |
--mode |
FIFO_MODE:0=ALL_GM、1=ALL_UB、2=QK_PV_UB_ONLY | 1 |
-i |
--intermediate |
使能中间结果检查(写回 GM FIFO) | 关闭 |
-d |
--debug |
调试构建(-DDEBUG_MODE=ON,启用 --cce-enable-print) |
关闭 |
--mode_dn |
— | 编译并运行 DN 版本 Kernel(fa_performance_dn) |
关闭 |
-k |
--mask |
使能因果掩码(causal mask) | 关闭 |
run.sh 内部依次执行:generate_cases.py --qk-preload 生成用例 → validate_buffer_usage.py 校验缓冲区 → cmake -DRUN_MODE/-DSOC_VERSION/-DFIFO_MODE ... 构建 → gen_data.py 生成数据 → 运行 fa_performance(或 fa_performance_dn)二进制,并统一追加 --sys_cnt_multiple=1.0 参数用于系统时钟换算。
4. FIFO_MODE:A5 的三种数据通路模式
FIFO_MODE 是 A5 版 Kernel 的核心调优开关(由 -m/--mode 传入,也可在 CMake 中通过 -DFIFO_MODE 覆盖,定义见 CMakeLists.txt)。在 fa_performance_kernel.cpp 中,三种模式被精确编码:
- MODE 0(ALL_GM_PATH):所有数据通路走全局内存(GM)做基线。QK:
L0C → GM → UB(TSTORE/TLOAD);P:UB → GM → L1;PV:L0C → GM → UB。中间 Tile 均经 GM 落盘,是最朴素、最易调试的实现。 - MODE 1(ALL_UB_PATH):全部通路走 UB/L1 直传,不经 GM 往返。QK:
L0C → UB(TMOV);P:UB → L1(TMOV ND2NZ + TINSERT);PV:L0C → UB(TMOV)。 - MODE 2(QK_PV_UB_ONLY):QK 与 PV 走 UB 直传(TMOV L0C→UB),P 通路回退 GM(TSTORE/TLOAD,不做 TMOV+TINSERT),兼顾带宽与实现复杂度。
三者的效果由宏 USE_L0C_TO_DUAL_UB_PATH_QK、USE_L0C_TO_UB_PV_PATH、USE_UB_TO_L1_PATH 组合表达。默认 FIFO_MODE=1(ALL_UB),同时源码中的 #ifndef FIFO_MODE 兜底值也给出 2(QK_PV_UB_ONLY),两种默认来源并存,读者可自行验证。所有 UB 直传模式要求 UF_ENABLE=0,否则编译期报错。
用例配置:生成规则与默认集合
用例由 scripts/generate_cases.py 生成,每条用例格式为 HEAD_SIZE,S0,S1,CUBE_S0[,TILE_S1]:
HEAD_SIZE:注意力头维度;S0:query 序列长度(Q/O 行数);S1:key/value 序列长度(K/V 行数);CUBE_S0:Cube 矩阵乘按 S0 方向的分块行数;TILE_S1:按 S1 方向的逻辑 Tile 大小,固定要求为CUBE_S1=128的整数倍,支持 128、256、512;缺省为 128。
脚本会做合法性归一化:CUBE_S0 超过 S0 或不能整除时自动回退为 S0;S1 必须能被 CUBE_S1(128) 整除;TILE_S1 必须能整除 S1。默认用例集(不传 --cases 时)为:
| HEAD_SIZE | S0 | S1 | CUBE_S0 | TILE_S1 |
|---|---|---|---|---|
| 128 | 128 | 1024 | 128 | 128 |
| 128 | 128 | 2048 | 128 | 128 |
| 128 | 128 | 8192 | 128 | 128 |
| 128 | 512 | 1024 | 128 | 128 |
| 128 | 512 | 2048 | 128 | 128 |
| 128 | 512 | 8192 | 128 | 128 |
generate_cases.py 同时生成两个产物:build/generated_cases.h(TFA_FOR_EACH_CASE 宏 + kGeneratedTfaCases<a href="https://link.gitcode.com/i/faefb27571184e97c8a3617cb1ea8579" target="_blank">] 结构体数组,供 Host 侧遍历)与 build/generated_cases.json。Kernel 侧的 TFA_FOR_EACH_CASE(INSTANTIATE_TFA) 宏(见 [fa_performance_kernel.cpp)会为每个用例模板实例化 LaunchTFA<S0, HEAD, S1, CUBE_S0, CUBE_S1, TILE_S1, QK_PRELOAD, ...>。数据生成脚本 scripts/gen_data.py 用 np.random.seed(7) 生成 FP16 的 Q/K 输入,并以 FP32 计算 golden 的 QK、softmax 中间量与最终 O,随用例写入 q.bin/k.bin/kt.bin 等二进制文件。
Flash Attention 2.0 计算流程与张量形状
A5 版 Kernel 实现的算法本体与通用版一致(完整推导见 kernels/manual/common/flash_atten/README.md):令 Q ∈ ℝ^{S0×H}、K ∈ ℝ^{H×S1}、V ∈ ℝ^{S1×H}(H = HEAD_SIZE),单头注意力的标准形式为:
QK = Q Kᵀ ∈ ℝ^{S0×S1}
P = softmax(QK / τ) ∈ ℝ^{S0×S1}
O = P V ∈ ℝ^{S0×H}
其中缩放因子 τ = √HEAD_SIZE。Flash Attention 将 QK 与 P 的计算按 (S0, S1) 分块,并对 O 维护运行中的部分和,核心递推(在线 softmax)为:
- 局部行最大值:
m_i = max_j X_ij(当前 Tile 行内最大值); - 更新全局最大值:
M_i = max(M_prev,i, m_i); - 旧累加值重缩放因子:
exp_max_i = exp(s·(M_prev,i − M_i)); - 逐元素指数:
e_ij = exp(s·(X_ij − M_i))(FP32 缓冲p_tile_fp32,送入矩阵乘前转 FP16); - 本 Tile 行内局部和:
ℓ_i = Σ_j e_ij; - 更新全局和:
S_i = exp_max_i · S_prev,i + ℓ_i; - 最终归一化:
p_ij = e_ij / S_i。
数值稳定性来自"全局最大值上升时对旧累加和的重缩放"。Kernel 存储逐元素 e_ij(即 x_exp)供 PV 矩阵乘使用,同时保留 exp_max_i 与 S_i 供 GU 阶段累加。
各阶段的张量形状(以 tile t 为例):
- 输入:Q
S0×H、KS1×H、VS1×H(均 FP16); - 中间:
qk_tile:S0×CUBE_S1(FP32 累加,如128×128);p_tile(x_exp):S0×CUBE_S1(FP16);pv_tile:S0×H(FP32 部分和); - 输出:O
S0×H(FP16/FP32)。
四阶段 Kernel 实现与优化
A5 版 Kernel 将上述流程拆为四个阶段,分别在 Cube 与 Vector 核上执行(实现位于 fa_performance_kernel.cpp):
compute_qk(Cube 矩阵乘):计算 Q·K_t。Q Tile 以 leftTile 驻留方式加载——tile_id==0 时每个 Cube 调用只加载一次 Q,后续 Tile 仅加载 K,减少全局内存重读;通过 pto_macro_matmul 从 matTile 计算到 accTile,并配合 assign_running_acc_tile 让累加 accTile 在 compute_qk 与 compute_pv 之间做双缓冲。qkPreloadNum 同时决定 qkp_tile_fifo_size = 1 + qkPreloadNum,用于 Cube 生产者与 Vector softmax 消费者之间的 QK Tile 双缓冲。
compute_p(Vector softmax):数值稳定的分块 softmax。Vec_S0 = Cube_S0 / VEC_CORES / kTileFactor(VEC_CORES=2,见 fa_performance_kernel.h),两个 Vector 子核通过 get_subblockid() 对 QK/P/PV/O 缓冲做 SPMD 切分。TSOFTMAXFA 微内核实现递推式 softmax,存储每 Tile 的 l1_exp_max 与 l2_global_sum 供 GU 阶段使用。优化点包括:TROWMAX/TROWSUM 使用静态 Tile 尺寸以获得 128/256/512/1024 归约轴的最优实现;TROWEXPANDSUB 就地计算(dst==src)节省 UB;1D 归约与 2D 计算交错以复用 Vector 单元的流水气泡。
compute_pv(P·V 第二次矩阵乘):加载 V Tile 与 P Tile,生成 pv_tile_fifo 全局 FP32 缓冲,按 Tile 做 ping-pong。pv_tile_fifo_size(同样为 1 + qkPreloadNum)控制 P 生产与 GU 消费之间的缓冲深度。
compute_gu(GU 归约阶段):由 Vector 核驱动,将各 Tile 的部分 PV 累加进 runningOTile,最后一个 Tile 通过 pto_macro_fa_gu_last 用 l2_global_sum 做最终归一化除法。TROWEXPANDMUL/TROWEXPANDDIV 就地计算以减少缓冲区占用。
流水线编排与 Cube/Vector 并行
跨核 FIFO 与级内 ping-pong
Kernel 将 Cube 与 Vector 工作拆分为独立流水线,按 S1 Tile 循环的典型流程为:
- Cube 流水线预热执行后续 QK Tile(
compute_qk); - Vector 流水线(
compute_p)等待 QK 就绪,对 QK 分块运行TSOFTMAXFA,写 P Tile 并通知 PV 消费者; - Cube 流水线(
compute_pv)消费 P 与 V,产出pv_tile_fifo写回全局内存并通知 GU; - GU(
compute_gu)在 Vector 核上消费pv_tile_fifo并累加进runningOTile。
级内流水方面,pto_macro_matmul 与 assign_running_acc_tile 提供 leftTile/rightTile/AccTile 双缓冲;K/P/V 的 matTile 均双缓冲保证流水平滑;compute_p 的输入 QK Tile 与输出 P Tile 双缓冲,exp_max 则采用多预载缓冲支持"迟到转发"。所有 FIFO 同步基于 TMPipe 与轻量设备 flag(如 BUF0_QK_READY/BUF1_SM_READY/UPDATE_READY/UB_BUF_READY/PV_UB_BUF_READY,flag ID 间隔 2 以避免碰撞,见 fa_performance_kernel.cpp)。
预热深度与缓冲权衡
qkPreloadNum(默认 4,run.sh 中 -p 可覆盖)决定进入稳态循环前预热的 QK→P Tile 数:更大预热在长 S1 下提升 Cube/Vector 并发度,但增大 FIFO 足迹(qkGlobalTensorNBuffers/pvGlobalTensorNBuffers/guGlobalTensorNBuffers)。其余双缓冲深度(srcVecTNBuffers、xexpVecTNBuffers、outOTileNBuffers 等)默认取 1–2,源码注释明确建议仅在实测到 stall 气泡时再加深。CV_FIFO_CONS_SYNC_PERIOD 控制消费同步周期(默认 kFaCvFifoSize/2),配合 should_wait_consumption/should_notify_consumption 在"每周期同步一次"与"多通知提前一拍"之间取得折中。
缓冲区分配与合法性约束
A5 版在 fa_performance_kernel.cpp 中声明了片上内存上限:Cube 侧 L1 总计不超过 512KB(MAX_TILE_L1_BYTES),Vector 侧 UB 总计不超过 256KB(MAX_VEC_UB_BYTES,比 A2/A3 的 192KB 更大)。Vector 缓冲布局按固定顺序分配:QK 源 Tile → m1_local_max → m2_global_max → 中间指数临时 Tile → l1_local_sum → l2_global_sum → l1_exp_max 数组 → x_exp Tile → 末尾放置 runningOTile 累加器。在 UB 直传模式下,QK 源 Tile 与 PV Tile 采用独立分配(不做 union),以避免 TMOV L0C→UB 直传路径下 PV TLOAD 覆盖 QK 数据——这是针对 A5 256KB UB 的专门调整。
多核切分与负载均衡
对 BNSD 布局的 QKV 输入,中间 QK(S0,S1) 以 S1 为归约轴,因此多核切分按 (B, N, S/CUBE_S0) 进行,每核处理 S0/CUBE_S0 个 block。A5 Kernel 在 block_rows >= pto::kCvMaxCores 时通过 TSYNC_CVID 为各 block 分配通信槽位,避免 GM FIFO 缓冲浪费。因果掩码(-k/--mask)场景下,num_tiles_s1 按 1 + (block_idx * CUBE_S0) / TILE_S1 收缩,跳过下三角之外的 QK/PV 计算,实现天然负载裁剪。
A5 平台特定优化总结
相比 A2/A3 通用版(对应 kernels/manual/common/flash_atten),A5 版 FA Kernel 的针对性调整可归纳为三点:
- 内存层次适配:A5 的 UB 从 A2/A3 的 192KB 提升到 256KB,缓冲区分配策略相应调整——UB 直传模式下 QK 与 PV Tile 由 union 共享改为独立分配;Cube L1 限制 512KB,超限触发编译期
static_assert。 - Cube/Vector 同步机制优化:A5 采用轻量设备 flag(FFTS)驱动 FIFO 消费同步,flag 按"每对象两个连续 flag(record/wait + allocate/free)"布局;跨 block 通信经
TSYNC_CVID分配槽位,规避多 block 下的 GM FIFO 冲突。 - 流水线深度参数适配:提供
FIFO_MODE(0/1/2 三种数据通路)、qkPreload、CV_FIFO_CONS_SYNC_PERIOD等旋钮,并配套validate_buffer_usage.py、pipeline_log_analysis.py、run_timeline.sh等工具,便于按 A5 硬件特性做时间线与缓冲区实测调优。
性能数据
性能口径定义如下:S0 为 query 序列长度(Q/O 行数),S1 为 key/value 序列长度(K/V 行数),Total task time (us) 为每个 task 的端到端 Kernel 时间(微秒),GOps 为该 task 计数的总运算量,TFLOPS = GOps / time。
A5 平台参考数据(待测量)
README.md 中给出的 A5 参考性能表(当前为占位,TBD 表示待测量):
| Cores | S0 | S1 | Total task time (us) | GOps | TFLOPS |
|---|---|---|---|---|---|
| 1 | 128 | 1024 | TBD | 67.11 | TBD |
| 1 | 128 | 2048 | TBD | 134.22 | TBD |
| 1 | 128 | 4096 | TBD | 268.44 | TBD |
GOps 与 S1 呈线性关系(S1 翻倍则 GOps 翻倍),可作为后续实测吞吐的参照基准。具体调优参数与实测数据将在后续版本持续更新。
A2/A3 平台参考(横向参考)
作为方法学参考,A2/A3 通用版在 kernels/manual/common/flash_atten/README.md 记录了归一化 TFLOPS(TFLOPS × (24 / cores_used),估算 24 核 A3 满设备吞吐),其结论包括:更大 S1 显著提升归一化吞吐(S1=1024→4096 大幅增长);S1=8192 时 1–2 核归一化吞吐接近(≈172.9 vs 171.4),表明 Kernel 逼近带宽/同步极限而非随核数线性扩展;4/8 核在较小 S1 下归一化吞吐反而更低,主要被固定开销(流水预热、同步、访存)主导。该文档还强调:模拟器数值可能显著高于板上实测(Seq=2K 场景模拟 28.59us/112.66 归一化 TFLOPS vs 板上 147.92us/21.78),做性能决策务必以板上数据为准。A5 平台同样建议遵循此原则,并可在本地按上文 bash run.sh -r npu -v Ascend910_9599 复测后回填 TBD。
延伸阅读
- 通用版 FA 完整算子说明(数学公式、四阶段详解、流水线编排、多核切分):kernels/manual/common/flash_atten/README.md
- A5 Kernel 模板化实现与四阶段源码:fa_performance_kernel.cpp
- A5 默认调优常量(
kFaCubeS1=128、kFaTileS1=256、kFaQkPreload=4、VEC_CORES=2):fa_performance_kernel.h - 构建配置与
FIFO_MODE定义:CMakeLists.txt - 用例生成规则与默认集合:scripts/generate_cases.py
- Host 侧参数解析与结果校验:main.cpp
- PTO ISA 手册与算子开发入门:docs/PTOISA.md、docs/coding/tutorial.md
提示:本示例目录仅支持 A5(
-v Ascend910_9599);A2/A3 请使用 kernels/manual/common/flash_atten 目录。文中TBD性能数据为仓库预留占位,实测请在具备 A5 板卡的环境中运行run.sh后填写。