PTO ISA 量化配置指令详解:SET_QUANT_SCALAR 标量量化参数如何驱动 TPUSH 定点/量化推流
PTO ISA 量化配置指令详解:SET_QUANT_SCALAR 标量量化参数如何驱动 TPUSH 定点/量化推流
本文围绕 PTO(Parallel Tile Operation)虚拟指令集中的 SET_QUANT_SCALAR 指令展开:它负责为后续的 TPUSH 操作设置标量量化参数(pre-quantization scale),并在 8 位输出类型时自动编码符号位。读完本文,你将理解该指令的 C++ intrinsic 声明与参数语义、标量值从 FP32 到硬件寄存器字段的编码规则(含位 46 符号位)、CPU 模拟与 NPU 平台两条实现路径的差异,以及它与 TPUSH/fixpipe 流水线的正确调用时序,可直接用于编写带量化模式的 fixpipe 推流内核。
1. 指令定位:量化推流前的“配置器”
在 PTO 的 fixpipe 数据通路中,TPUSH 将计算结果(如 accumulator tile)推入固定数据管道(fixpipe),在此过程中可按 QuantMode_t 配置的量化/反量化模式完成数据类型转换。SET_QUANT_SCALAR 就是这条链路上的参数配置指令:
- 它设置的是标量量化参数(pre-quantization scale),作用于随后执行的
TPUSH操作; - 标量值会按其输出数据类型(
OutType)被编码进硬件量化配置寄存器; - 对于 8 位输出类型(
int8_t或uint8_t),符号位会被自动编码到配置值的第 46 位——即寄存器布局为“低 32 位放 FP32 位域的量化因子,第 46 位放有符号标记”。
与之配套的另一条路径是 SET_QUANT_VECTOR(从 Scaling 型 tile 地址取向量量化参数),而本指令面向“全 tile 共用一个标量 scale”的典型量化场景。指令总览可参考 PTO ISA 文档目录 与 PTOISA 手册。
2. C++ Intrinsic 声明与参数语义
指令的公共声明位于 include/pto/common/pto_instr.hpp:
template <typename OutType, typename... WaitEvents>
PTO_INST RecordEvent SET_QUANT_SCALAR(float preQuantScalar, WaitEvents&... events)
{
detail::PtoWaitEvents(events...);
SET_QUANT_SCALAR_IMPL<OutType>(preQuantScalar);
return {};
}
各要素含义如下:
| 要素 | 说明 |
|---|---|
OutType |
模板参数,指定量化输出的数据类型,决定符号位的编码行为。必须是受支持的量化输出类型,例如 int8_t、uint8_t、int16_t、bfloat16_t、half。 |
preQuantScalar |
FP32 标量,指定 pre-quantization 缩放因子。该 float 的位域(32 位)将被直接搬入 64 位配置寄存器的低位。 |
WaitEvents... |
可变参数事件列表,沿用 PTO 的事件同步模型:调用前通过 detail::PtoWaitEvents(events...) 等待上游 pipe 事件就绪。 |
返回值 RecordEvent |
记录本次指令的事件信息,供后续 wait_flag/set_flag 类同步原语使用。 |
PTO_INST 与 PTO_INTERNAL 是 PTO 指令体系的宏封装:前者标记这是一个跨平台指令入口,后者标记 _IMPL 为平台内部实现。这种“公共模板分发 + 平台 _IMPL 落地”的结构,使得同一条 SET_QUANT_SCALAR 在 CPU 模拟、A5、A2A3 等不同后端拥有各自的寄存器写入逻辑(见第 4 节)。
3. 约束条件与调用时序
官方文档(docs/isa/SET_QUANT_SCALAR.md)明确了以下约束,编写内核时必须遵守:
OutType必须是受支持的量化输出类型(如int8_t、uint8_t、int16_t、bfloat16_t、half)。OutType同时决定符号位编码:只有 1 字节宽度且为int8_t时才置位符号位。preQuantScalar是 FP32 标量,指定 pre-quantization 缩放因子。从源码看,它经过的是位域搬移(bitcast)而非数值转换,因此其取值语义由硬件量化逻辑解释,写内核时应保持与TPUSH输出类型匹配的合理量级。- 必须在消费该配置的
TPUSH之前调用。该指令只写配置寄存器,本身不搬移任何 tile 数据;若先TPUSH后配置,量化参数不会作用于本次推流。 - 标量值到硬件寄存器的具体编码是实现定义的(implementation-defined)。当前公开资料只固化了“8 位类型符号位位于第 46 位”这一契约,其余字段不应在用户代码中做位级假设。
4. 源码级实现:标量如何被编码进硬件寄存器
4.1 CPU 模拟路径:直接写寄存器模型
在 CPU 模拟后端,include/pto/cpu/SetQuantScalar.hpp 给出了与文档契约完全一致的编码实现:
template <typename OutType>
PTO_INTERNAL void SET_QUANT_SCALAR_IMPL(float preQuantScalar)
{
uint64_t quantConfig = static_cast<uint64_t>(std::bit_cast<uint32_t>(preQuantScalar));
if constexpr (sizeof(OutType) == 1) {
constexpr bool sign = (std::is_same_v<OutType, int8_t>) ? true : false;
quantConfig = (quantConfig & ~(static_cast<uint64_t>(1) << 46)) | (static_cast<uint64_t>(sign) << 46);
}
uint8_t* quantSrc = reinterpret_cast<uint8_t*>(&quantConfig);
uint8_t* reg_base = reinterpret_cast<uint8_t*>(NPUMemoryModel::Instance().GetREGBase());
uint8_t* scalarReg = reg_base + QUANT_SCALAR_REG_OFFSET * sizeof(uint64_t);
std::copy(quantSrc, quantSrc + sizeof(quantConfig), scalarReg);
}
这段代码逐行印证了文档的三条契约:
- FP32 位域搬移:
std::bit_cast<uint32_t>(preQuantScalar)将 float 的 32 位 IEEE 754 位模式原样存入 64 位配置字节的低 32 位,不做任何数值缩放——这就是“exact encoding 是实现定义”的落点; - 第 46 位符号位:
if constexpr (sizeof(OutType) == 1)只对 8 位输出类型生效,且仅当OutType是int8_t时置 1(uint8_t恒为 0)。先掩码清零再或入,保证重复调用幂等; - 寄存器落地:通过
NPUMemoryModel::Instance().GetREGBase()拿到模拟寄存器基址,按QUANT_SCALAR_REG_OFFSET(在 include/pto/common/cpu_stub.hpp 中定义为0,即量化标量寄存器位于寄存器组第 0 槽,向量量化寄存器QUANT_VECTOR_REG_OFFSET为第 1 槽)偏移后整字写入。
CPU 侧还提供对称的读回实现 include/pto/cpu/GetQuantScalar.hpp(GET_QUANT_SCALAR_IMPL),从同一寄存器槽拷出 64 位配置值——这一“写后即读回”的能力是测试断言量化配置是否生效的关键手段。
4.2 NPU 路径:委托硬件 intrinsic set_quant_pre
在 NPU 后端,同一份编码逻辑计算出 quantConfig 后并不自己操作寄存器,而是交给底层 CANN 量化原语。以 A5 后端 include/pto/npu/a5/SetQuantScalar.hpp 为例:
template <typename OutType>
PTO_INTERNAL void SET_QUANT_SCALAR_IMPL(float preQuantScalar)
{
uint64_t quantConfig = static_cast<uint64_t>(*reinterpret_cast<int32_t*>(&preQuantScalar));
if constexpr (sizeof(OutType) == 1) {
constexpr bool sign = (std::is_same_v<OutType, int8_t>) ? true : false;
quantConfig = (quantConfig & ~(static_cast<uint64_t>(1) << 46)) | (static_cast<uint64_t>(sign) << 46);
}
set_quant_pre(quantConfig);
}
A2A3 后端(include/pto/npu/a2a3/SetQuantScalar.hpp)结构相同,末端同样调用 set_quant_pre(quantValue)。此外,在 A5/kirinX90/kirin9030 等后端的 TStore、TMov、TInsert、TExtract 等实现中也能看到 set_quant_pre(preQuantScalar) 的直接调用(如 include/pto/npu/a5/TStore.hpp),从源码结构看,fixpipe 相关的数据搬运指令在需要量化时会复用同一套“pre-quant scale 配置”入口,SET_QUANT_SCALAR 则是把这套配置显式提升为用户可编排指令的公共形式。
在 costmodel 后端中,set_quant_pre 被建模为带周期计数的 CCE 调用记录(见 include/pto/costmodel/a2a3/cce_costmodel/cce_costmodel_sync.hpp),因此该指令的延迟可以被性能模拟器统计。
5. 实战用法:SET_QUANT_SCALAR 与 TPUSH 的配对调用
5.1 最小可运行示例
文档给出的最小示例展示了“配置 → 推流”的标准写法(此处先给出配置指令的独立调用形态):
#include <pto/pto-inst.hpp>
using namespace pto;
template <typename T>
AICORE void example_set_quant_scalar()
{
float preQuantScale = 0.5f;
SET_QUANT_SCALAR<int8_t>(preQuantScale);
}
使用时注意:SET_QUANT_SCALAR 只写配置,真正的数据类型转换发生在其后的 TPUSH 中。TPUSH 的量化模式由 FixpipeParams/FixpipeConfig 的 QuantMode_t(如 DEQF16)字段控制,两者协同完成“量化配置 + 模式选择”的完整语义,详见 TPUSH 指令文档:
// TPUSH 侧定义量化模式(NZ→row-major 布局,反量化到 half,带 ReLU)
using MyConfig = FixpipeParams<LayoutMode_t::NZ2ND, QuantMode_t::DEQF16, ReluPreMode::NormalRelu>;
5.2 测试内核中的真实调用链
测试用例 tests/cpu/st/testcase/tpushpop_fixpipe/tpushpop_fixpipe_kernel.cpp 展示了 fixpipe 推流完整流水中 SET_QUANT_SCALAR 的落位(NPU 侧存在同构用例 tests/npu/a5/src/st/testcase/tpushpop_fixpipe/tpushpop_fixpipe_kernel.cpp 与 tests/npu/a2a3/src/st/testcase/tpushpop_fixpipe/tpushpop_fixpipe_kernel.cpp):
wait_flag(PIPE_FIX, PIPE_M, EVENT_ID1);
TMATMUL(accTile, aTile, bTile);
set_flag(PIPE_M, PIPE_MTE1, EVENT_ID1);
set_flag(PIPE_M, PIPE_FIX, EVENT_ID0);
wait_flag(PIPE_M, PIPE_FIX, EVENT_ID0);
SET_QUANT_SCALAR<OutT>(2.0f);
TPUSH<MatPipe, AccTile, FixpipeConfig>(pipe, accTile);
这段代码体现了三个工程要点:
- 配置紧贴消费点:
SET_QUANT_SCALAR<OutT>(2.0f)紧随TMATMUL完成后的事件等待之后、TPUSH之前执行,确保本次推流消费到新 scale; OutT模板参数即推流输出类型:测试中以OutT作为量化输出类型,与TPUSH的配置类型保持一致,int8_t/uint8_t分派时自动完成第 46 位符号位编码;- 事件同步兜底:
SET_QUANT_SCALAR本身接受WaitEvents...参数(本例中依赖前置wait_flag建立的顺序),在双 buffer 流水中避免配置被下一次推流覆盖前未生效。
后续的 TPOP 再从 fixpipe 弹出量化后的数据到 vec tile,构成 TMATMUL → SET_QUANT_SCALAR → TPUSH → TPOP 的完整量化推流闭环。
6. 与 SET_QUANT_VECTOR 的选择边界
| 维度 | SET_QUANT_SCALAR |
SET_QUANT_VECTOR |
|---|---|---|
| 参数来源 | FP32 标量 preQuantScalar |
Scaling 型 tile 的地址(FpTileData::Loc == TileType::Scaling) |
| 写入目标 | 标量量化配置寄存器(CPU 侧槽位 0) | 硬件 FPC 寄存器,tile 地址转换为量化参数地址格式(CPU 侧槽位 1) |
| 典型场景 | 全 tile 统一 scale 的量化/反量化 | 每通道/分块独立 scale 的向量量化 |
| 稳定 ASM 形式 | 无,公开汇编参考未定义稳定 PTO-AS 拼写 | 无,公开汇编参考未定义稳定 PTO-AS 拼写 |
两条指令的公共约束一致:必须在消费该配置的 TPUSH 之前调用,且编码细节是实现定义的。标量指令的寄存器槽位契约可从 include/pto/common/cpu_stub.hpp 的 QUANT_SCALAR_REG_OFFSET/QUANT_VECTOR_REG_OFFSET 定义交叉验证。
7. 适用前提与注意事项
- 无稳定 ASM 拼写:当前公开的 PTO-AS 汇编参考未为
SET_QUANT_SCALAR定义稳定的汇编形式,编写内核时应一律使用 C++ intrinsic 形态配置量化参数。 - 调用顺序是正确性的核心:该指令不产生数据流,只做配置写;漏掉“先配置后
TPUSH”的顺序会导致量化参数静默失效(上一轮配置继续生效),建议在同一事件域内紧跟推流指令。 - 编码契约以文档为准:公开层面只承诺“8 位输出类型的符号位位于第 46 位”与低 32 位的 FP32 位域搬移(可从 CPU 实现 与 A5 实现 对照确认);其余位域是实现定义,不要在用户代码中解析或构造。
- 平台覆盖:CPU 模拟、A5、A2A3 及 kirinX90/kirin9030 等后端均提供了该指令路径,可在各平台测试目录下检索
tpushpop_fixpipe用例(如 tests/cpu/st/testcase/tpushpop_fixpipe)复现“配置 + 推流”的验证流程;指令家族矩阵亦收录于 appendix-d-instruction-family-matrix。
综上,SET_QUANT_SCALAR 是 PTO fixpipe 量化链路上的轻量配置指令:一个 FP32 标量、一次 64 位寄存器写、一条“必须在 TPUSH 之前”的顺序约束,构成了 PTO 内核中实现 int8/uint8/int16/bf16/half 等量化推流的基础积木。