PTO ISA TMOV_FP 指令详解:基于 fp Tile 的累加器向量量化搬移
PTO ISA TMOV_FP 指令详解:基于 fp Tile 的累加器向量量化搬移
TMOV_FP 是 Ascend CANN 的 Parallel Tile Operation(PTO)虚拟指令集中面向向量量化场景的累加器搬移指令:它使用一个 fp(Scaling)Tile 作为向量量化/反量化参数,将累加器(Accumulator)Tile 移动并转换到目标 Tile。本文以 docs/isa/TMOV_FP_zh.md 为骨架,结合 include/pto/common/pto_instr.hpp 中的内建接口、A2A3/A5 后端 TMov.hpp 实现及 A5 tmov_acc2vec 测试用例,系统讲解该指令的语义、汇编/IR 形式、C++ 调用方式、约束条件与验证结果。读完本文,你将能在 PTO 内核中以自动(Auto)或手动(Manual)模式正确使用 TMOV_FP 完成带 fp 量化的累加器搬移,并理解其与规范 TMOV(..., fp, ...) facade 的等价关系与后端差异。
一、指令概述与定位
1.1 功能定义
TMOV_FP 的语义是:使用 fp Tile 作为向量量化参数,将累加器 Tile 移动/转换到目标 Tile。它是 PTO 中 TMOV(Tile Move)指令族在 fp 量化路径上的专门形态,常见于矩阵乘等算子的"累加器搬出 + 量化"融合阶段——例如把 L0C 累加结果按每行的 fp 参数量化后写入目标(Vec 或 Mat)Tile,同时可叠加 ReLU 前处理。
1.2 历史兼容别名与规范 facade 的关系
从源码看,TMOV_FP(...) 被保留为历史无 mode fp 移动形态的源码兼容 C++ 调用入口,并包含 STPhase 重载。它直接映射到不显式传入 mode 模板参数的 TMOV_IMPL(dst, src, fp)(见 include/pto/common/pto_instr.hpp)。
与之对应,规范同名 facade TMOV(..., fp, ...) 则通过 std::enable_if_t<... (FpTileData::Loc == TileType::Scaling) ...> 在调用层强制要求 FpTileData 必须是 Scaling Tile(见 include/pto/common/pto_instr.hpp)。两者最终都进入 TMOV_IMPL<DstTileData, SrcTileData, FpTileData, reluMode>(dst, src, fp) 实现路径,区别在于:
- 规范
TMOV(..., fp, ...):Loc == TileType::Scaling由 facade 层(SFINAE 约束)检查; - 历史
TMOV_FP(...):保留所选后端实现内部对FpTileData合法性的检查,以兼容既有代码(后端仍通过static_assert(FpTileData::Loc == TileType::Scaling, ...)校验)。
1.3 数学语义
概念上,该指令使用从 fp 派生的、实现定义的量化/反量化配置对每个元素进行转换:
fp 中的量化参数具体如何解析、如何作用于每个元素,由所选后端实现决定(详见下文"源码级实现剖析")。
二、汇编与 IR 语法
2.1 同步形式(PTO 汇编)
%dst = tmov.fp %src, %fp : !pto.tile<...>, !pto.tile<...> -> !pto.tile<...>
2.2 AS Level 1(SSA 形式)
%dst = pto.tmov.fp %src, %fp : !pto.tile<...>, !pto.tile<...> -> !pto.tile<...>
2.3 AS Level 2(DPS 形式)
DPS(Destructive/双操作数风格)形式显式声明输入与输出缓冲:
pto.tmov.fp ins(%src, %fp : !pto.tile_buf<...>, !pto.tile_buf<...>) outs(%dst : !pto.tile_buf<...>)
英文原档(docs/isa/TMOV_FP.md)中还存在 IR Level 1 / IR Level 2 两段,语法与 AS Level 1 / Level 2 完全一致,分别对应不同抽象层次上的同名表示,可对照阅读。
三、C++ 内建接口
TMOV_FP 的 C++ 内建函数声明位于 include/pto/common/pto_instr.hpp 与 include/pto/common/constants.hpp。公共包含头为 <pto/pto-inst.hpp>,内部声明位于 pto/common/pto_instr.hpp:
template <typename DstTileData, typename SrcTileData, typename FpTileData, ReluPreMode reluMode = ReluPreMode::NoRelu,
typename... WaitEvents>
PTO_INST RecordEvent TMOV(DstTileData &dst, SrcTileData &src, FpTileData &fp, WaitEvents &... events);
template <STPhase Phase, typename DstTileData, typename SrcTileData, typename FpTileData,
ReluPreMode reluMode = ReluPreMode::NoRelu, typename... WaitEvents>
PTO_INST RecordEvent TMOV(DstTileData &dst, SrcTileData &src, FpTileData &fp, WaitEvents &... events);
template <typename DstTileData, typename SrcTileData, typename FpTileData, ReluPreMode reluMode = ReluPreMode::NoRelu,
typename... WaitEvents>
PTO_INST RecordEvent TMOV_FP(DstTileData &dst, SrcTileData &src, FpTileData &fp, WaitEvents &... events);
template <STPhase Phase, typename DstTileData, typename SrcTileData, typename FpTileData,
ReluPreMode reluMode = ReluPreMode::NoRelu, typename... WaitEvents>
PTO_INST RecordEvent TMOV_FP(DstTileData &dst, SrcTileData &src, FpTileData &fp, WaitEvents &... events);
3.1 模板参数与运行期参数说明
| 参数 | 含义 | 说明 |
|---|---|---|
DstTileData |
目标 Tile 数据类型 | fp 路径支持 Vec 或 Mat 目标(目标位置取决于后端目标,见约束章节) |
SrcTileData |
源累加器 Tile 数据类型 | 通常为 TileAcc<...>(累加器,即 L0C 侧数据) |
FpTileData |
fp 量化参数 Tile | 必须为 Loc == TileType::Scaling 的 Tile |
reluMode |
ReLU 前处理模式 | 默认 ReluPreMode::NoRelu,可显式传 ReluPreMode::NormalRelu |
Phase(仅 STPhase 重载) |
搬出相位 | STPhase::Unspecified / Partial / Final,见下文 |
events |
等待事件列表 | 变长参数,调用前通过 detail::PtoWaitEvents(events...) 统一等待 |
STPhase 语义(见 include/pto/common/type.hpp):UF store phase 编码累加器搬出(L0C 到 L1、UB 或 GM)的 unit flag 行为。Final 标记最后一次搬出并释放 unit flag;Partial 仅用于同一 L0C Tile 被多次搬出时的非末次搬出、不释放 flag;Unspecified 为默认值。注释特别提醒:不要把 STPhase::Partial 与 AccPhase::Partial 配对使用,否则 fixpipe 会等待一个永远不会到达的 flag 导致挂起——产生该 L0C 结果的 TMATMUL 必须已经是 AccPhase::Final。
3.2 facade 与实现的对应关系(源码佐证)
在 include/pto/common/pto_instr.hpp 中:
- 无 Phase 的
TMOV_FP:TMOV_IMPL<DstTileData, SrcTileData, FpTileData, reluMode>(dst, src, fp); - 带
STPhase Phase的TMOV_FP:TMOV_IMPL<DstTileData, SrcTileData, FpTileData, reluMode, Phase>(dst, src, fp)。
其中带 STPhase 的 fp 重载仅在后端宏满足时暴露:PTO_NPU_ARCH_A5、PTO_NPU_ARCH_A2A3、PTO_NPU_ARCH_KIRIN9030、PTO_NPU_ARCH_KIRINX90、PTO_NPU_ARCH_KIRINDEV0000 或 __CPU_SIM(CPU 模拟器)。
四、约束与后端实现检查
文档明确区分 A2A3 与 A5 两套实现检查逻辑:
4.1 A2A3 实现检查
- fp 路径仅支持累加器转换,并通过
TMOV_IMPL(dst, src, fp)中的内部编译时检查验证; FpTileData的合法性由所选后端实现检查;STPhasefp 别名支持 Acc-to-Mat 搬出。
在 include/pto/npu/a2a3/TMov.hpp 中可见:A2A3 的 fp 路径先 CheckTMovAccToMat<...>(...) 校验,再 static_assert(FpTileData::Loc == TileType::Scaling, "Fp only support Scaling.") 强制 Scaling,通过 GetVectorPreQuantMode<...>() 推导向量预量化模式,SetFPC<FpTileData>(fp.data()) 设置 fp 参数后经 TMovCcToCb<...> 完成累加器(CC)到 Mat(CB)的搬移。
4.2 A5 实现检查
- 通过
CheckTMovAccValid(...)与TMOV_IMPL(dst, src, fp)中的相关编译时检查验证; FpTileData的合法性由所选后端实现检查;- 目标位置取决于目标:fp 路径支持
Vec或Mat; STPhasefp 别名仅在存在对应后端实现的目标上暴露:A2A3、A5、kirin9030、kirinX90、kirinDev0000 和 CPU 模拟器;- 实机验证:在 Ascend 950PR 板机、CANN 9.2.0 环境下,
tmov_acc2vec中向量量化的TMOV_FP<STPhase::Final>用例TMOVTest.case_nz2nd_fb_quant_uf_final_half与TMOVTest.case_nz2nd_fb_quant_uf_final_int8均已通过,max diff 均为 0。
A5 后端 include/pto/npu/a5/TMov.hpp 的实现逻辑为:CheckTMovAccValid<..., true>() → static_assert(Loc == Scaling) → 取 src.GetValidRow()/GetValidCol() → GetVectorPreQuantMode<SrcDType, DstDType>() 推导量化模式 → SetFPC<FpTileData>(fp.data()) 设置 FPC(fp 反量化张量地址,按 __cce_get_tile_ptr(fp) 取址并对齐到 256B)→ 按目标位置分派:
- 目标为
Vec:TMovCcToUb<DstTileData, SrcTileData, AccToVecMode::SingleModeVec0, quantPre, reluMode, Phase>(累加器 CC → UB); - 目标为
Mat:TMovCcToCb<DstTileData, SrcTileData, quantPre, reluMode, Phase>(累加器 CC → CB)。
另有带显式 AccToVecMode 的 fp 重载(include/pto/npu/a5/TMov.hpp),限定 mode 只能为 SingleModeVec0/SingleModeVec1(static_assert("Quant is not support in dual Dst Mode.")),且目标只能为 Vec。
4.3 fp 量化参数的数据结构(测试佐证)
fp 参数在测试中以 uint64_t 打包(见 tests/npu/a5/src/st/testcase/tmov_acc2vec/gen_data.py):quant_gm 的位域中,(quant_gm >> 13) & 0x7FFFF 为 m1(自定义 (1,8,10) 浮点格式,即 1 位符号 + 8 位指数 + 10 位尾数,指数偏置 127 对齐 float32),(quant_gm >> 37) & 0x1FF 为 9 位 offset,(quant_gm >> 46) & 0x1 为 sign 标志。量化过程(如 qf2b8_pre:saturation(data * m1, -256, 255, int16) + offset 后再饱和到 int8/uint8;qf2f16_pre/qf2bf16_pre 则饱和到 float16/bfloat16)展示了"乘 m1、加 offset、可带符号、饱和取整"的典型 fp 量化语义,与文档中"实现定义的量化/反量化配置"表述一致。
五、代码示例
5.1 自动模式(Auto)
自动模式下由编译器/运行时负责资源放置与调度,开发者只声明 Tile 类型并调用指令:
#include <pto/pto-inst.hpp>
using namespace pto;
void example_auto() {
using AccT = TileAcc<float, 16, 16>;
using DstT = Tile<TileType::Vec, int8_t, 16, 16>;
using FpT = Tile<TileType::Scaling, uint64_t, 1, 16, BLayout::RowMajor, 1, 16, SLayout::NoneBox>;
AccT acc;
DstT dst;
FpT fp;
TMOV_FP(dst, acc, fp);
}
5.2 手动模式(Manual)
手动模式下先通过 TASSIGN 显式绑定物理地址,再发射指令:
#include <pto/pto-inst.hpp>
using namespace pto;
void example_manual() {
using AccT = TileAcc<float, 16, 16>;
using DstT = Tile<TileType::Vec, int8_t, 16, 16>;
using FpT = Tile<TileType::Scaling, uint64_t, 1, 16, BLayout::RowMajor, 1, 16, SLayout::NoneBox>;
AccT acc;
DstT dst;
FpT fp;
TASSIGN(acc, 0x1000);
TASSIGN(dst, 0x2000);
TASSIGN(fp, 0x3000);
TMOV_FP(dst, acc, fp);
}
5.3 示例要点解读
- 源 Tile 使用
TileAcc<float, 16, 16>:fp 路径的源是累加器(Accumulator)类型,这正是"Acc-to-Vec/Mat"搬移的前提; - 目标使用
Tile<TileType::Vec, int8_t, 16, 16>:演示 fp 路径支持量化到低比特整数(int8)输出;fp Tile 的Loc必须为TileType::Scaling; - fp Tile 形状为
1×16的 RowMajor NoneBox 布局,uint64_t承载打包后的量化参数,与 4.3 节测试中的位域打包方式对应。
六、汇编示例(ASM)
6.1 自动模式
# 自动模式:由编译器/运行时负责资源放置与调度。
%dst = pto.tmov.fp %src, %fp : !pto.tile<...>, !pto.tile<...> -> !pto.tile<...>
6.2 手动模式
# 手动模式:先显式绑定资源,再发射指令。
# 可选(当该指令包含 tile 操作数时):
# pto.tassign %arg0, @tile(0x1000)
# pto.tassign %arg1, @tile(0x2000)
%dst = pto.tmov.fp %src, %fp : !pto.tile<...>, !pto.tile<...> -> !pto.tile<...>
6.3 PTO 汇编形式与 AS Level 2(DPS)
%dst = tmov.fp %src, %fp : !pto.tile<...>, !pto.tile<...> -> !pto.tile<...>
# AS Level 2 (DPS)
pto.tmov.fp ins(%src, %fp : !pto.tile_buf<...>, !pto.tile_buf<...>) outs(%dst : !pto.tile_buf<...>)
七、测试用例与验证路径
7.1 A5 tmov_acc2vec 测试
与本文主题强相关的验证位于 tests/npu/a5/src/st/testcase/tmov_acc2vec/ 目录(main.cpp、tmov_acc2vec_kernel.cpp、gen_data.py)。其中 fp 量化(fb_quant)用例覆盖多种形状与数据类型组合,例如:
case_nz2nd_fb_quant_1:<1, int8_t, int8_t, int8_t, uint64_t, 1>(30, 48, 64);case_nz2nd_fb_quant_uf_final_half:<1, uint16_t, uint32_t, uint32_t, uint64_t, 6>(31, 128, 128);case_nz2nd_fb_quant_uf_final_int8:<1, int8_t, uint32_t, uint32_t, uint64_t, 7>(60, 128, 64);
后两个正是文档中在 Ascend 950PR / CANN 9.2.0 上通过、max diff 为 0 的用例。核函数侧(tmov_acc2vec_kernel.cpp)的调用形态印证了内建接口的用法:先 TMOV(fbTile, fbMatTile) 将 fp 参数搬入,再根据 phase 与 isRelu 分支调用 TMOV_FP<DstTileData, AccTile, FbTile, ReluPreMode::NormalRelu>(dstTileData, cTile, fbTile) 或带 phase 的 TMOV_FP<phase, DstTileData, AccTile, FbTile, ...> 形式。
7.2 数值比对方式
测试流程(main.cpp)为:读取 golden 输入(x1_gm.bin、x2_gm.bin、quant_gm.bin)→ 分配 device 内存并拷贝 → 启动 kernel → 同步流 → 回拷输出 → 与 golden.bin 做 ResultCmp(golden, devFinal, 0.001f) 比对并 EXPECT_TRUE(ret)。golden 数据由 gen_data.py 生成,其 qf2*_pre 系列函数用 CPU 侧 NumPy 模拟 fp 量化逻辑,与 4.3 节所述量化公式一一对应。
7.3 指令覆盖情况
include/README_zh.md 的指令支持矩阵显示 TMOV_FP 在所列平台上均为"是",与文档中"STPhase fp 别名在 A2A3、A5、kirin9030、kirinX90、kirinDev0000 与 CPU 模拟器上暴露"的约束一致。
八、总结
TMOV_FP 是 PTO 指令集中连接"累加器计算"与"量化数据输出"的关键指令:它在不引入额外 mode 模板参数的 legacy 形态下,将累加器 Tile 按 fp 量化参数转换并搬移到 Vec 或 Mat 目标,同时支持 ReluPreMode 前处理与 STPhase 搬出相位控制。开发者可优先使用规范 facade TMOV(..., fp, ...)(调用层强制 Scaling 约束),需要兼容既有代码时使用 TMOV_FP(...)(约束检查下沉到后端)。无论选择哪种入口,都应牢记:源必须是累加器、fp Tile 必须是 Scaling 类型、目标位置与 STPhase 支持随后端(A2A3 / A5 / kirin 系列 / CPU 模拟器)不同而不同。相关文档可继续参考 PTO-Virtual-ISA-Manual_zh.md 与指令总览 docs/isa/README_zh.md。