PTO ISA TMOV_FP 指令详解:基于 fp Tile 的累加器向量量化搬移

原创2026-09-19 13:10:001,824 阅读
文章标签:人工智能算子库CANNAscend

PTO ISA TMOV_FP 指令详解:基于 fp Tile 的累加器向量量化搬移

TMOV_FP 是 Ascend CANN 的 Parallel Tile Operation(PTO)虚拟指令集中面向向量量化场景的累加器搬移指令:它使用一个 fp(Scaling)Tile 作为向量量化/反量化参数,将累加器(Accumulator)Tile 移动并转换到目标 Tile。本文以 docs/isa/TMOV_FP_zh.md 为骨架,结合 include/pto/common/pto_instr.hpp 中的内建接口、A2A3/A5 后端 TMov.hpp 实现及 A5 tmov_acc2vec 测试用例,系统讲解该指令的语义、汇编/IR 形式、C++ 调用方式、约束条件与验证结果。读完本文,你将能在 PTO 内核中以自动(Auto)或手动(Manual)模式正确使用 TMOV_FP 完成带 fp 量化的累加器搬移,并理解其与规范 TMOV(..., fp, ...) facade 的等价关系与后端差异。

TMOV_FP 指令示意图

一、指令概述与定位

1.1 功能定义

TMOV_FP 的语义是:使用 fp Tile 作为向量量化参数,将累加器 Tile 移动/转换到目标 Tile。它是 PTO 中 TMOV(Tile Move)指令族在 fp 量化路径上的专门形态,常见于矩阵乘等算子的"累加器搬出 + 量化"融合阶段——例如把 L0C 累加结果按每行的 fp 参数量化后写入目标(Vec 或 Mat)Tile,同时可叠加 ReLU 前处理。

1.2 历史兼容别名与规范 facade 的关系

从源码看,TMOV_FP(...) 被保留为历史无 mode fp 移动形态的源码兼容 C++ 调用入口,并包含 STPhase 重载。它直接映射到不显式传入 mode 模板参数的 TMOV_IMPL(dst, src, fp)(见 include/pto/common/pto_instr.hpp)。

与之对应,规范同名 facade TMOV(..., fp, ...) 则通过 std::enable_if_t<... (FpTileData::Loc == TileType::Scaling) ...> 在调用层强制要求 FpTileData 必须是 Scaling Tile(见 include/pto/common/pto_instr.hpp)。两者最终都进入 TMOV_IMPL<DstTileData, SrcTileData, FpTileData, reluMode>(dst, src, fp) 实现路径,区别在于:

  • 规范 TMOV(..., fp, ...):Loc == TileType::Scaling 由 facade 层(SFINAE 约束)检查;
  • 历史 TMOV_FP(...):保留所选后端实现内部对 FpTileData 合法性的检查,以兼容既有代码(后端仍通过 static_assert(FpTileData::Loc == TileType::Scaling, ...) 校验)。

1.3 数学语义

概念上,该指令使用从 fp 派生的、实现定义的量化/反量化配置对每个元素进行转换:

dsti,j=Convert ⁣(srci,j; fp)\mathrm{dst}_{i,j} = \mathrm{Convert}\!\left(\mathrm{src}_{i,j};\ \mathrm{fp}\right)

fp 中的量化参数具体如何解析、如何作用于每个元素,由所选后端实现决定(详见下文"源码级实现剖析")。

二、汇编与 IR 语法

2.1 同步形式(PTO 汇编)

%dst = tmov.fp %src, %fp : !pto.tile<...>, !pto.tile<...> -> !pto.tile<...>

2.2 AS Level 1(SSA 形式)

%dst = pto.tmov.fp %src, %fp : !pto.tile<...>, !pto.tile<...> -> !pto.tile<...>

2.3 AS Level 2(DPS 形式)

DPS(Destructive/双操作数风格)形式显式声明输入与输出缓冲:

pto.tmov.fp ins(%src, %fp : !pto.tile_buf<...>, !pto.tile_buf<...>) outs(%dst : !pto.tile_buf<...>)

英文原档(docs/isa/TMOV_FP.md)中还存在 IR Level 1 / IR Level 2 两段,语法与 AS Level 1 / Level 2 完全一致,分别对应不同抽象层次上的同名表示,可对照阅读。

三、C++ 内建接口

TMOV_FP 的 C++ 内建函数声明位于 include/pto/common/pto_instr.hpp 与 include/pto/common/constants.hpp。公共包含头为 <pto/pto-inst.hpp>,内部声明位于 pto/common/pto_instr.hpp:

template <typename DstTileData, typename SrcTileData, typename FpTileData, ReluPreMode reluMode = ReluPreMode::NoRelu,
          typename... WaitEvents>
PTO_INST RecordEvent TMOV(DstTileData &dst, SrcTileData &src, FpTileData &fp, WaitEvents &... events);

template <STPhase Phase, typename DstTileData, typename SrcTileData, typename FpTileData,
          ReluPreMode reluMode = ReluPreMode::NoRelu, typename... WaitEvents>
PTO_INST RecordEvent TMOV(DstTileData &dst, SrcTileData &src, FpTileData &fp, WaitEvents &... events);

template <typename DstTileData, typename SrcTileData, typename FpTileData, ReluPreMode reluMode = ReluPreMode::NoRelu,
          typename... WaitEvents>
PTO_INST RecordEvent TMOV_FP(DstTileData &dst, SrcTileData &src, FpTileData &fp, WaitEvents &... events);

template <STPhase Phase, typename DstTileData, typename SrcTileData, typename FpTileData,
          ReluPreMode reluMode = ReluPreMode::NoRelu, typename... WaitEvents>
PTO_INST RecordEvent TMOV_FP(DstTileData &dst, SrcTileData &src, FpTileData &fp, WaitEvents &... events);

3.1 模板参数与运行期参数说明

参数 含义 说明
DstTileData 目标 Tile 数据类型 fp 路径支持 Vec 或 Mat 目标(目标位置取决于后端目标,见约束章节)
SrcTileData 源累加器 Tile 数据类型 通常为 TileAcc<...>(累加器,即 L0C 侧数据)
FpTileData fp 量化参数 Tile 必须为 Loc == TileType::Scaling 的 Tile
reluMode ReLU 前处理模式 默认 ReluPreMode::NoRelu,可显式传 ReluPreMode::NormalRelu
Phase(仅 STPhase 重载) 搬出相位 STPhase::Unspecified / Partial / Final,见下文
events 等待事件列表 变长参数,调用前通过 detail::PtoWaitEvents(events...) 统一等待

STPhase 语义(见 include/pto/common/type.hpp):UF store phase 编码累加器搬出(L0C 到 L1、UB 或 GM)的 unit flag 行为。Final 标记最后一次搬出并释放 unit flag;Partial 仅用于同一 L0C Tile 被多次搬出时的非末次搬出、不释放 flag;Unspecified 为默认值。注释特别提醒:不要把 STPhase::Partial 与 AccPhase::Partial 配对使用,否则 fixpipe 会等待一个永远不会到达的 flag 导致挂起——产生该 L0C 结果的 TMATMUL 必须已经是 AccPhase::Final。

3.2 facade 与实现的对应关系(源码佐证)

在 include/pto/common/pto_instr.hpp 中:

  • 无 Phase 的 TMOV_FP:TMOV_IMPL<DstTileData, SrcTileData, FpTileData, reluMode>(dst, src, fp);
  • 带 STPhase Phase 的 TMOV_FP:TMOV_IMPL<DstTileData, SrcTileData, FpTileData, reluMode, Phase>(dst, src, fp)。

其中带 STPhase 的 fp 重载仅在后端宏满足时暴露:PTO_NPU_ARCH_A5、PTO_NPU_ARCH_A2A3、PTO_NPU_ARCH_KIRIN9030、PTO_NPU_ARCH_KIRINX90、PTO_NPU_ARCH_KIRINDEV0000 或 __CPU_SIM(CPU 模拟器)。

四、约束与后端实现检查

文档明确区分 A2A3 与 A5 两套实现检查逻辑:

4.1 A2A3 实现检查

  • fp 路径仅支持累加器转换,并通过 TMOV_IMPL(dst, src, fp) 中的内部编译时检查验证;
  • FpTileData 的合法性由所选后端实现检查;
  • STPhase fp 别名支持 Acc-to-Mat 搬出。

在 include/pto/npu/a2a3/TMov.hpp 中可见:A2A3 的 fp 路径先 CheckTMovAccToMat<...>(...) 校验,再 static_assert(FpTileData::Loc == TileType::Scaling, "Fp only support Scaling.") 强制 Scaling,通过 GetVectorPreQuantMode<...>() 推导向量预量化模式,SetFPC<FpTileData>(fp.data()) 设置 fp 参数后经 TMovCcToCb<...> 完成累加器(CC)到 Mat(CB)的搬移。

4.2 A5 实现检查

  • 通过 CheckTMovAccValid(...) 与 TMOV_IMPL(dst, src, fp) 中的相关编译时检查验证;
  • FpTileData 的合法性由所选后端实现检查;
  • 目标位置取决于目标:fp 路径支持 Vec 或 Mat;
  • STPhase fp 别名仅在存在对应后端实现的目标上暴露:A2A3、A5、kirin9030、kirinX90、kirinDev0000 和 CPU 模拟器;
  • 实机验证:在 Ascend 950PR 板机、CANN 9.2.0 环境下,tmov_acc2vec 中向量量化的 TMOV_FP<STPhase::Final> 用例 TMOVTest.case_nz2nd_fb_quant_uf_final_half 与 TMOVTest.case_nz2nd_fb_quant_uf_final_int8 均已通过,max diff 均为 0。

A5 后端 include/pto/npu/a5/TMov.hpp 的实现逻辑为:CheckTMovAccValid<..., true>() → static_assert(Loc == Scaling) → 取 src.GetValidRow()/GetValidCol() → GetVectorPreQuantMode<SrcDType, DstDType>() 推导量化模式 → SetFPC<FpTileData>(fp.data()) 设置 FPC(fp 反量化张量地址,按 __cce_get_tile_ptr(fp) 取址并对齐到 256B)→ 按目标位置分派:

  • 目标为 Vec:TMovCcToUb<DstTileData, SrcTileData, AccToVecMode::SingleModeVec0, quantPre, reluMode, Phase>(累加器 CC → UB);
  • 目标为 Mat:TMovCcToCb<DstTileData, SrcTileData, quantPre, reluMode, Phase>(累加器 CC → CB)。

另有带显式 AccToVecMode 的 fp 重载(include/pto/npu/a5/TMov.hpp),限定 mode 只能为 SingleModeVec0/SingleModeVec1(static_assert("Quant is not support in dual Dst Mode.")),且目标只能为 Vec。

4.3 fp 量化参数的数据结构(测试佐证)

fp 参数在测试中以 uint64_t 打包(见 tests/npu/a5/src/st/testcase/tmov_acc2vec/gen_data.py):quant_gm 的位域中,(quant_gm >> 13) & 0x7FFFF 为 m1(自定义 (1,8,10) 浮点格式,即 1 位符号 + 8 位指数 + 10 位尾数,指数偏置 127 对齐 float32),(quant_gm >> 37) & 0x1FF 为 9 位 offset,(quant_gm >> 46) & 0x1 为 sign 标志。量化过程(如 qf2b8_pre:saturation(data * m1, -256, 255, int16) + offset 后再饱和到 int8/uint8;qf2f16_pre/qf2bf16_pre 则饱和到 float16/bfloat16)展示了"乘 m1、加 offset、可带符号、饱和取整"的典型 fp 量化语义,与文档中"实现定义的量化/反量化配置"表述一致。

五、代码示例

5.1 自动模式(Auto)

自动模式下由编译器/运行时负责资源放置与调度,开发者只声明 Tile 类型并调用指令:

#include <pto/pto-inst.hpp>

using namespace pto;

void example_auto() {
  using AccT = TileAcc<float, 16, 16>;
  using DstT = Tile<TileType::Vec, int8_t, 16, 16>;
  using FpT = Tile<TileType::Scaling, uint64_t, 1, 16, BLayout::RowMajor, 1, 16, SLayout::NoneBox>;

  AccT acc;
  DstT dst;
  FpT fp;
  TMOV_FP(dst, acc, fp);
}

5.2 手动模式(Manual)

手动模式下先通过 TASSIGN 显式绑定物理地址,再发射指令:

#include <pto/pto-inst.hpp>

using namespace pto;

void example_manual() {
  using AccT = TileAcc<float, 16, 16>;
  using DstT = Tile<TileType::Vec, int8_t, 16, 16>;
  using FpT = Tile<TileType::Scaling, uint64_t, 1, 16, BLayout::RowMajor, 1, 16, SLayout::NoneBox>;

  AccT acc;
  DstT dst;
  FpT fp;
  TASSIGN(acc, 0x1000);
  TASSIGN(dst, 0x2000);
  TASSIGN(fp,  0x3000);
  TMOV_FP(dst, acc, fp);
}

5.3 示例要点解读

  • 源 Tile 使用 TileAcc<float, 16, 16>:fp 路径的源是累加器(Accumulator)类型,这正是"Acc-to-Vec/Mat"搬移的前提;
  • 目标使用 Tile<TileType::Vec, int8_t, 16, 16>:演示 fp 路径支持量化到低比特整数(int8)输出;fp Tile 的 Loc 必须为 TileType::Scaling;
  • fp Tile 形状为 1×16 的 RowMajor NoneBox 布局,uint64_t 承载打包后的量化参数,与 4.3 节测试中的位域打包方式对应。

六、汇编示例(ASM)

6.1 自动模式

# 自动模式:由编译器/运行时负责资源放置与调度。
%dst = pto.tmov.fp %src, %fp : !pto.tile<...>, !pto.tile<...> -> !pto.tile<...>

6.2 手动模式

# 手动模式:先显式绑定资源,再发射指令。
# 可选(当该指令包含 tile 操作数时):
# pto.tassign %arg0, @tile(0x1000)
# pto.tassign %arg1, @tile(0x2000)
%dst = pto.tmov.fp %src, %fp : !pto.tile<...>, !pto.tile<...> -> !pto.tile<...>

6.3 PTO 汇编形式与 AS Level 2(DPS)

%dst = tmov.fp %src, %fp : !pto.tile<...>, !pto.tile<...> -> !pto.tile<...>
# AS Level 2 (DPS)
pto.tmov.fp ins(%src, %fp : !pto.tile_buf<...>, !pto.tile_buf<...>) outs(%dst : !pto.tile_buf<...>)

七、测试用例与验证路径

7.1 A5 tmov_acc2vec 测试

与本文主题强相关的验证位于 tests/npu/a5/src/st/testcase/tmov_acc2vec/ 目录(main.cpp、tmov_acc2vec_kernel.cpp、gen_data.py)。其中 fp 量化(fb_quant)用例覆盖多种形状与数据类型组合,例如:

  • case_nz2nd_fb_quant_1:<1, int8_t, int8_t, int8_t, uint64_t, 1>(30, 48, 64);
  • case_nz2nd_fb_quant_uf_final_half:<1, uint16_t, uint32_t, uint32_t, uint64_t, 6>(31, 128, 128);
  • case_nz2nd_fb_quant_uf_final_int8:<1, int8_t, uint32_t, uint32_t, uint64_t, 7>(60, 128, 64);

后两个正是文档中在 Ascend 950PR / CANN 9.2.0 上通过、max diff 为 0 的用例。核函数侧(tmov_acc2vec_kernel.cpp)的调用形态印证了内建接口的用法:先 TMOV(fbTile, fbMatTile) 将 fp 参数搬入,再根据 phase 与 isRelu 分支调用 TMOV_FP<DstTileData, AccTile, FbTile, ReluPreMode::NormalRelu>(dstTileData, cTile, fbTile) 或带 phase 的 TMOV_FP<phase, DstTileData, AccTile, FbTile, ...> 形式。

7.2 数值比对方式

测试流程(main.cpp)为:读取 golden 输入(x1_gm.bin、x2_gm.bin、quant_gm.bin)→ 分配 device 内存并拷贝 → 启动 kernel → 同步流 → 回拷输出 → 与 golden.bin 做 ResultCmp(golden, devFinal, 0.001f) 比对并 EXPECT_TRUE(ret)。golden 数据由 gen_data.py 生成,其 qf2*_pre 系列函数用 CPU 侧 NumPy 模拟 fp 量化逻辑,与 4.3 节所述量化公式一一对应。

7.3 指令覆盖情况

include/README_zh.md 的指令支持矩阵显示 TMOV_FP 在所列平台上均为"是",与文档中"STPhase fp 别名在 A2A3、A5、kirin9030、kirinX90、kirinDev0000 与 CPU 模拟器上暴露"的约束一致。

八、总结

TMOV_FP 是 PTO 指令集中连接"累加器计算"与"量化数据输出"的关键指令:它在不引入额外 mode 模板参数的 legacy 形态下,将累加器 Tile 按 fp 量化参数转换并搬移到 Vec 或 Mat 目标,同时支持 ReluPreMode 前处理与 STPhase 搬出相位控制。开发者可优先使用规范 facade TMOV(..., fp, ...)(调用层强制 Scaling 约束),需要兼容既有代码时使用 TMOV_FP(...)(约束检查下沉到后端)。无论选择哪种入口,都应牢记:源必须是累加器、fp Tile 必须是 Scaling 类型、目标位置与 STPhase 支持随后端(A2A3 / A5 / kirin 系列 / CPU 模拟器)不同而不同。相关文档可继续参考 PTO-Virtual-ISA-Manual_zh.md 与指令总览 docs/isa/README_zh.md。

登录后查看全文
pto-isa