PTO 指令详解:TSTORE_FP —— 基于 fp 量化参数的累加器随路量化存储
PTO 指令详解:TSTORE_FP —— 基于 fp 量化参数的累加器随路量化存储
导读
TSTORE_FP 是 PTO(Parallel Tile Operation,Ascend CANN 面向 Tile 级运算的虚拟指令集)中用于将累加器(Acc)Tile 以 fp Tile 作为向量量化参数写入全局内存的存储指令。它面向量化推理/训练场景中“矩阵乘累加结果直接随路量化落盘”的典型诉求,在 A2A3 与 Ascend 950 系列(A5)等多代架构上均有后端实现,并支持与 TMATMUL<AccPhase::Final> 配合实现量化与 unit flag 并行的流水优化。读完本文,你将掌握 TSTORE_FP 的数学语义、汇编与 C++ 调用形式、A2A3/A5 两端约束差异,以及其底层 TSTORE_IMPL → TStoreAccFp 的实现机理与工程测试佐证。
指令概述与设计定位
TSTORE_FP 使用 fp Tile 作为向量量化参数(vector quantization parameters),将累加器 Tile 存储到全局内存。相比标量量化形式 TSTORE(dst, src, preQuantScalar),fp 形式为逐通道(per-channel)随路量化提供了参数载体:量化参数本身放在一个独立的 Scaling Tile 中,由硬件在搬出流水(fixpipe)中完成反量化/再量化转换。
从接口设计上看,TSTORE_FP(...) 是为历史 fp 量化存储形态保留的源码兼容 C++ 调用入口,它直接映射到 TSTORE_IMPL(dst, src, fp) 实现路径;而规范同名 TSTORE(..., fp, ...) 重载在 facade 层要求 Scaling Tile 才参与匹配。历史 alias 则保留后端实现既有的合法性检查(参见 TSTORE_FP 指令文档 与 TSTORE 指令文档)。与之相对的 TSTORE 的量化标量重载签名如下,可用于对照理解:
// TSTORE 标量量化重载(TSTORE_FP 的 fp 形式与之并列)
template <typename TileData, typename GlobalData, AtomicType atomicType = AtomicType::AtomicNone, typename... WaitEvents>
PTO_INST RecordEvent TSTORE(GlobalData& dst, TileData& src, uint64_t preQuantScalar, WaitEvents&... events);
数学语义
设 R = src.GetValidRow(),C = src.GetValidCol()。概念上(二维视图,带基础偏移),对 0 <= i < R 且 0 <= j < C:
即目标全局内存中的每个元素等于源 Tile 对应元素经 fp 量化参数转换后的结果。实际搬出时,实现使用 src.GetValidRow() / src.GetValidCol() 作为传输大小(有效区域),而非 Tile 的静态形状整体。
汇编语法
同步形式(PTO 底层汇编):
tstore.fp %src, %fp, %sv_out[%c0, %c0]
AS Level 1(SSA)
pto.tstore.fp %src, %fp, %mem : (!pto.tile<...>, !pto.tile<...>, !pto.partition_tensor_view<MxNxdtype>) -> ()
AS Level 2(DPS)
pto.tstore.fp ins(%src, %fp : !pto.tile_buf<...>, !pto.tile_buf<...>) outs(%mem : !pto.partition_tensor_view<MxNxdtype>)
其中 %src 为累加器 Tile、%fp 为量化参数 Tile、%mem 为目标全局内存视图(partition_tensor_view<MxNxdtype>)。
C++ 内建接口
接口声明位于 include/pto/common/pto_instr.hpp 与 include/pto/common/constants.hpp,公共包含头为 <pto/pto-inst.hpp>(内部声明位于 pto/common/pto_instr.hpp)。
template <typename TileData, typename GlobalData, typename FpTileData, AtomicType atomicType = AtomicType::AtomicNone,
ReluPreMode reluPreMode = ReluPreMode::NoRelu, typename... WaitEvents>
PTO_INST RecordEvent TSTORE(GlobalData &dst, TileData &src, FpTileData &fp, WaitEvents &... events);
template <typename TileData, typename GlobalData, typename FpTileData, AtomicType atomicType = AtomicType::AtomicNone,
ReluPreMode reluPreMode = ReluPreMode::NoRelu, typename... WaitEvents>
PTO_INST RecordEvent TSTORE_FP(GlobalData &dst, TileData &src, FpTileData &fp, WaitEvents &... events);
template <STPhase Phase, typename TileData, typename GlobalData, typename FpTileData,
AtomicType atomicType = AtomicType::AtomicNone,
ReluPreMode reluPreMode = ReluPreMode::NoRelu, typename... WaitEvents>
PTO_INST RecordEvent TSTORE_FP(GlobalData &dst, TileData &src, FpTileData &fp, WaitEvents &... events);
模板参数说明:
| 模板参数 | 含义 | 默认值 |
|---|---|---|
TileData |
源累加器 Tile 类型,Loc 必须为 TileType::Acc |
— |
GlobalData |
目标 GlobalTensor 类型,决定布局与数据类型 |
— |
FpTileData |
fp 量化参数 Tile 类型,Loc 必须为 TileType::Scaling |
— |
atomicType |
原子写模式,仅支持 AtomicNone / AtomicAdd |
AtomicNone |
reluPreMode |
搬出前 ReLU 预处理模式 | NoRelu |
Phase |
STPhase:Final / Partial,仅 STPhase 重载存在 |
— |
WaitEvents... |
依赖事件列表 | — |
从源码可见,无 Phase 的重载在 pto_instr.hpp 第 489-498 行 处直接转调 TSTORE_IMPL<TileData, GlobalData, FpTileData, atomicType, reluPreMode>(dst, src, fp);带 STPhase 的重载则在 第 502-512 行 处转调 TSTORE_IMPL<..., Phase>(dst, src, fp),且该重载仅在 PTO_NPU_ARCH_A5、PTO_NPU_ARCH_A2A3、PTO_NPU_ARCH_KIRIN9030、PTO_NPU_ARCH_KIRINDEV0000 或 __CPU_SIM 编译宏下暴露,与文档所述“STPhase fp 别名仅在存在对应后端实现的目标上暴露”一致。
约束
实现检查(A2A3)
- fp 存储路径通过
TSTORE_IMPL(dst, src, fp)实现,并使用与量化累加器存储相同的累加器到 GM 合法性检查; FpTileData的合法性由所选后端实现检查;- 目标布局必须是 ND、NZ、NC1HWC0 或 NDC1HWC0;
- 源数据类型必须是
int32_t或float; - 静态形状约束:
1 <= TileData::Cols <= 4095;若为 ND 则1 <= TileData::Rows <= 8192;若为 NZ、NC1HWC0 或 NDC1HWC0 则1 <= TileData::Rows <= 65535且TileData::Cols % 16 == 0; - 运行时:
1 <= src.GetValidCol() <= 4095。
实现检查(A5)
- 同样通过
TSTORE_IMPL(dst, src, fp)实现,并由CheckStaticAcc<..., true>()验证累加器路径(支持 ND/NZ/NHWC/NCHW/NCDHW,源数据类型为int32_t/float,行/列范围有限制); FpTileData的合法性由所选后端实现检查;STPhasefp 别名仅在存在对应后端实现的目标上暴露:A2A3、A5、kirin9030、kirinDev0000 和 CPU 模拟器。
数据类型支持(量化存储共用规则,摘自 TSTORE 文档)
| 调用形式 | 源数据类型 | 支持的目标数据类型(A2A3) | 支持的目标数据类型(A5) |
|---|---|---|---|
TSTORE(dst, acc, preQuantScalar) / TSTORE(dst, acc, fp) / TSTORE_FP(dst, acc, fp) |
float |
int8_t、uint8_t |
int8_t、uint8_t、half、bfloat16_t、hifloat8_t、float8_e4m3_t、float |
TSTORE(dst, acc, preQuantScalar) / TSTORE(dst, acc, fp) / TSTORE_FP(dst, acc, fp) |
int32_t |
int8_t、uint8_t、half |
int8_t、uint8_t、half、bfloat16_t |
其它未列出的跨类型组合不属于支持范围。
STPhase 与 unit flag 并行机制
这是 fp 随路量化搬出最值得关注的高级用法:
- 在 A2A3 和 Ascend 950PR/Ascend 950DT 上,
STPhase会作用到 per-channel 随路量化的搬出指令,因此量化与 unit flag 可以并行。配合TMATMUL<AccPhase::Final>使用时,无需显式set_flag/wait_flag; - 取值规则与
TSTORE相同:STPhase::Final用于最后一次搬出并释放 unit flag;STPhase::Partial只用于同一块 L0C 分多次搬出时的非末次那几条; - 搬出侧
STPhase与累加侧取值不对称:产生该 L0C 结果的TMATMUL必须已是AccPhase::Final(数据已就绪)。若把STPhase::Partial与AccPhase::Partial配对,会让 fixpipe 等待一个不会到来的标志而挂死(该规则已在 L0C→L1、L0C→UB、L0C→GM 三条搬出路径上于 Ascend 950PR 仿真确认); - 在 kirin9030 上该重载虽然暴露,但后端未把
STPhase接到量化搬出指令上,传入不会生效; - 在 Ascend 950PR 板机、CANN 9.2.0 环境下,共用的 per-channel 量化后端通过了 TSTORE 中列出的 3 个
tstore_acc2gm定向用例(case38、case_vector_quant_uf_final、case_vector_quant_uf_multi_drain),max diff 均为 0,覆盖 per-channel 量化基线、Final与Partial后接Final三种场景。
A5 侧测试用例 tests/npu/a5/src/st/testcase/tstore_acc2gm/tstore_acc2gm_kernel.cpp 中的分支逻辑直接印证了该设计(issue 552:per-channel 随路量化与 unit flag 并行):
if constexpr (phase == STPhase::Unspecified) {
TSTORE_FP<AccTile, GlobalDataOut, ScalingTile, atomicTypeEnum>(dstGlobal, cTile, scalingTile);
} else if constexpr (phase == STPhase::Partial) {
// 同一块 L0C 分多次搬出时的非末次,不释放 unit flag
TSTORE_FP<STPhase::Partial, AccTile, GlobalDataOut, ScalingTile, atomicTypeEnum>(...);
} else {
// Final:最后一次搬出,释放 unit flag
TSTORE_FP<STPhase::Final, AccTile, GlobalDataOut, ScalingTile, atomicTypeEnum>(...);
}
示例
自动(Auto)
自动模式下,Tile 资源放置与调度由编译器/运行时完成,无需显式绑定:
#include <pto/pto-inst.hpp>
using namespace pto;
void example_auto(__gm__ int8_t* out) {
using AccT = TileAcc<float, 16, 16>;
using FpT = Tile<TileType::Scaling, uint64_t, 1, 16, BLayout::RowMajor, 1, DYNAMIC, SLayout::NoneBox>;
using GShape = Shape<1, 1, 1, 16, 16>;
using GStride = BaseShape2D<int8_t, 16, 16, Layout::ND>;
using GT = GlobalTensor<int8_t, GShape, GStride, Layout::ND>;
GT gout(out);
AccT acc;
FpT fp(16);
TSTORE_FP(gout, acc, fp);
}
要点解析:
AccT = TileAcc<float, 16, 16>:16×16 的 float 累加器 Tile,对应TileType::Acc位置;FpT = Tile<TileType::Scaling, uint64_t, 1, 16, ...>:关键形态——fp 参数 Tile 必须位于TileType::Scaling,元素类型为uint64_t(量化参数按 64 bit 封装),行数 1、列数 16(对应 16 个量化通道,与列维度 16 对齐);构造时FpT fp(16)传入通道数;GT = GlobalTensor<int8_t, GShape, GStride, Layout::ND>:目标全局内存数据类型为int8_t(量化输出),布局 ND。源float+ 目标int8_t正是文档约束表中“带 fp 量化参数调用”支持的类型组合。
手动(Manual)
手动模式下,指令发射前需要显式绑定 Tile 资源(TASSIGN 分配 L0C/量化缓冲区地址):
#include <pto/pto-inst.hpp>
using namespace pto;
void example_manual(__gm__ int8_t* out) {
using AccT = TileAcc<float, 16, 16>;
using FpT = Tile<TileType::Scaling, uint64_t, 1, 16, BLayout::RowMajor, 1, DYNAMIC, SLayout::NoneBox>;
using GShape = Shape<1, 1, 1, 16, 16>;
using GStride = BaseShape2D<int8_t, 16, 16, Layout::ND>;
using GT = GlobalTensor<int8_t, GShape, GStride, Layout::ND>;
GT gout(out);
AccT acc;
FpT fp(16);
TASSIGN(acc, 0x1000);
TASSIGN(fp, 0x2000);
TSTORE_FP(gout, acc, fp);
}
TASSIGN(acc, 0x1000) 与 TASSIGN(fp, 0x2000) 分别将累加器与 fp 参数绑定到指定基址(具体地址要求取决于后端内存布局,示例仅演示接口形态)。
测试用例佐证
除 A5 侧外,A2A3 与 kirin 系列均有真实测试覆盖:
- tests/npu/a2a3/src/st/testcase/tstore_acc2gm/tstore_acc2gm_kernel.cpp:以
TSTORE_FP<AccTile, GlobalDataOut, ScalingTile, atomicTypeEnum>与atomicTypeEnum, reluPreMode组合形式覆盖原子写、ReLU 预处理与 fp 量化的叠加场景; - tests/npu/kirin9030/src/st/testcase/tstore_acc2gm/tstore_acc2gm_kernel.cpp 与 kirinX90 侧用例同样使用
TSTORE_FP; - tests/npu/a2a3/src/st/testcase/tmov/tmov_kernel.cpp 中
TSTORE_FP<AccTile, GlobalDataOut, ScalingTile>(dstGlobal, cTile, scalingTile)展示了在搬移类测试中对 fp 量化存储的复用。
汇编示例(ASM)
自动模式
# 自动模式:由编译器/运行时负责资源放置与调度。
pto.tstore.fp %src, %fp, %mem : (!pto.tile<...>, !pto.tile<...>, !pto.partition_tensor_view<MxNxdtype>) -> ()
手动模式
# 手动模式:先显式绑定资源,再发射指令。
# 可选(当该指令包含 tile 操作数时):
# pto.tassign %arg0, @tile(0x1000)
# pto.tassign %arg1, @tile(0x2000)
pto.tstore.fp %src, %fp, %mem : (!pto.tile<...>, !pto.tile<...>, !pto.partition_tensor_view<MxNxdtype>) -> ()
PTO 汇编形式
tstore.fp %src, %fp, %sv_out[%c0, %c0]
# AS Level 2 (DPS)
pto.tstore.fp ins(%src, %fp : !pto.tile_buf<...>, !pto.tile_buf<...>) outs(%mem : !pto.partition_tensor_view<MxNxdtype>)
源码级实现剖析
TSTORE_IMPL:从 C++ 接口到搬出指令的汇聚点
以 A2A3 后端为例,fp 形式的 TSTORE_IMPL 位于 include/pto/npu/a2a3/TStore.hpp#L271-L294,其执行序列清晰呈现了合法性检查与量化参数接线:
static_assert(TileData::Loc == TileType::Acc):编译期确认源为累加器;static_assert(FpTileData::Loc == TileType::Scaling, "Fp only support Scaling."):编译期强制 fp 参数为ScalingTile;CheckAcc2gm<TileData, GlobalData, true>(dst, src):运行时累加器→GM 合法性检查(A5 侧对应CheckStaticAcc<..., true>());GetVectorPreQuantMode<TileData::DType, GlobalData::DType>():依据源/目标数据类型推导量化模式枚举QuantMode_t;- 调用
TStoreAccFp<GlobalData, TileData, FpTileData, quantMode, reluPreMode, Phase>(...),传入dst/src/fp指针、五维形状与步长、有效行列; - 若为原子写(
AtomicAdd),在指令前后包裹SetAtomicAdd/SetAtomicNone。
TStoreAccFp:量化参数如何送达硬件
fp 参数真正写入硬件的关键在 include/pto/common/arch/memory/tstore_common.hpp#L493-L522:
__fbuf__ typename FpTileData::DType* fpDstAddr = (__fbuf__ typename FpTileData::DType*)__cce_get_tile_ptr(fp);
uint64_t deqTensorAddr = ((uint64_t)fpDstAddr >> static_cast<uint64_t>(7)) << 8;
set_fpc(deqTensorAddr);
pipe_barrier(PIPE_FIX);
- fp Tile 位于
__fbuf__(量化参数缓冲区),其首地址经>>7 << 8换算为反量化张量地址后通过set_fpc写入 FPC(fp 量化控制寄存器); pipe_barrier(PIPE_FIX)保证量化参数在 fixpipe(随路量化/搬出流水)读取前就绪;- 随后按
GlobalData::layout分发到TStoreAccNz2nd/TStoreAccNz2nz/TStoreAccNz2NC1HWC0/TStoreAccNz2NDC1HWC0四条搬出路径(与约束中 A2A3 支持的四种目标布局一一对应)。
搬出指令寄存器编码
以 A2A3 的 NZ 搬出 TStoreAccNz2nz(include/pto/npu/a2a3/TStore.hpp#L71-L91)为例,最终下发的 copy_matrix_cc_to_gm 将调度信息编码进 Xm/Xt 寄存器:
- Xm 寄存器:
nSize(有效列数,Xm[15:4])、mSize(有效行数,Xm[31:16])、目标 GM 行间 stride(Xm[63:32]); - Xt 寄存器:源 stride(
Xt[15:0])、unit flag 控制位unitFlagCtrl = static_cast<uint8_t>(Phase)(Xt[33:32],即STPhase直达硬件的通道)、量化模式(Xt[38:34])、ReLU 预处理(Xt[41:39])、channel split 控制(Xt[42],float→float 且末维为 8 时使能)。
这正是文档所述“STPhase 会作用到 per-channel 随路量化的搬出指令,量化与 unit flag 并行”的硬件实现基础:unit flag 控制位与量化模式位位于同一 Xt 寄存器,一次搬出可同时携带两者。
小结
TSTORE_FP 是 PTO 面向量化落盘场景的高价值指令:它以 Scaling fp Tile 承载 per-channel 量化参数,通过 TSTORE_IMPL → TStoreAccFp 调用链将参数经 set_fpc 送达 fixpipe,并支持 ND/NZ/NC1HWC0/NDC1HWC0(A5 另含 NHWC/NCHW/NCDHW)多布局与 AtomicAdd、ReLU 预处理组合。进阶用法上,STPhase::Final / Partial 与 TMATMUL<AccPhase::Final> 的配对能够在 A2A3 与 Ascend 950 系列上实现量化搬出与 unit flag 的并行流水,且已在 Ascend 950PR + CANN 9.2.0 环境的 tstore_acc2gm 定向用例上以 max diff 0 通过验证。相关声明、实现与测试均可分别追溯至 pto_instr.hpp、a2a3/TStore.hpp、tstore_common.hpp 与 tstore_acc2gm 测试目录。