PyPTO SIMT 标量 fma:融合乘加(FMA)接口详解与实战
PyPTO SIMT 标量 fma:融合乘加(FMA)接口详解与实战
导读
pypto_pro.language.simt.fma 是 PyPTO SIMT 编程范式下的标量融合乘加接口,用于在一次运算中完成 lhs * rhs + addend 的融合计算,且中间乘积不做单独舍入。本文以该接口文档为核心,结合 PyPTO 仓库中的 Python API 声明(python/pypto_pro/language/_simt_api.py、python/pypto_pro/ir/op/simt_ops.py)与测试用例(test_simt_fma.py),完整讲解其产品支持情况、函数原型、参数约束、底层实现与在 SIMT 向量函数中的实战写法,帮助你在 Ascend 950 系列产品上写出正确、可验证的融合乘加 SIMT 内核。
产品支持情况
fma 接口的硬件支持情况以当前仓库接口文档(fma.md)标注为准:
| 产品 | 支持情况 |
|---|---|
| Ascend 950PR / Ascend 950DT | 支持 |
| Atlas A3 训练系列产品 / Atlas A3 推理系列产品 | 不支持 |
| Atlas A2 训练系列产品 / Atlas A2 推理系列产品 | 不支持 |
这意味着当前版本中 fma 仅面向 Ascend 950 系列(SIMT 能力所在的新一代昇腾平台)开放,在 A2/A3 系列上不可用。仓库中的测试用例也以 @pytest.mark.soc("950") 标注运行平台,与文档的产品支持矩阵一致(见 test_simt_fma.py)。
功能说明
fma 执行**融合乘加(Fused Multiply-Add, FMA)**运算,一次融合运算内同时完成乘法和加法:
其关键特性是中间乘积不单独舍入:与先乘(lhs * rhs 舍入一次)再加(舍入一次)的两步写法相比,FMA 只在最终结果处做一次舍入,精度更高、指令更少。测试用例中特意构造了 1.0 + 2.0**-23、4097.0 等接近精度边界的输入,并以 rtol=0, atol=0 的严格误差标准校验,正是为了验证"中间不单独舍入"的数值语义(见 test_simt_fma.py)。
函数原型
pypto_pro.language.simt.fma(
lhs: Scalar,
rhs: Scalar,
addend: Scalar,
) -> Scalar
- 三个入参均为
Scalar类型; - 返回融合乘加结果,数据类型与输入一致。
参数说明
| 参数 | 输入/输出 | 说明 |
|---|---|---|
| lhs | 输入 | 源操作数(乘数),Scalar 类型,支持 DT_FP16、DT_BF16 和 DT_FP32。Tensor 或 Tile 元素需通过下标访问后传入。 |
| rhs | 输入 | 源操作数(乘数),Scalar 类型,数据类型必须与 lhs 一致。Tensor 或 Tile 元素需通过下标访问后传入。 |
| addend | 输入 | 源操作数(加数),Scalar 类型,数据类型必须与 lhs 和 rhs 一致。Tensor 或 Tile 元素需通过下标访问后传入。 |
参数要点
- 三操作数同类型:
lhs、rhs、addend必须为同一种浮点类型(FP16 / BF16 / FP32),返回值类型与输入一致。Python 层 API 声明同样写明 "three same-dtype FP16, BF16, or FP32 Scalars"(见 python/pypto_pro/language/_simt_api.py)。 - 元素级访问:
fma是标量(Scalar)运算,不能直接对整个 Tensor / Tile 整体调用;需要先通过下标(如tensor[0, tid])取出单个元素再传入。
约束说明
fma 只能在由 @pypto_pro.language.vector_function(mode="simt") 定义的 SIMT 入口函数或辅助函数中调用。脱离 SIMT 上下文(例如在默认 vector 模式下)调用是不允许的。
返回值说明
返回 lhs * rhs + addend 的融合乘加结果,数据类型与输入一致(FP16 输入返回 FP16,BF16 输入返回 BF16,FP32 输入返回 FP32)。
调用示例
接口文档给出了一个完整的"向量化线性变换(linear)"示例:每个线程用自己对应的线程号 tid 取源数据元素,做一次 source * scale + bias 的融合乘加,写入输出:
import pypto_pro.language as pl
@pl.vector_function(mode="simt", max_threads=256)
def linear(
source: pl.Tensor[[1, 256], pl.DT_FP32],
output: pl.Tensor[[1, 256], pl.DT_FP32],
scale: pl.DT_FP32,
bias: pl.DT_FP32,
):
tid = pl.simt.linear_thread_idx()
output[0, tid] = pl.simt.fma(source[0, tid], scale, bias)
@pl.jit()
def simt_fma_kernel(
source: pl.Tensor[[1, 256], pl.DT_FP32],
output: pl.Tensor[[1, 256], pl.DT_FP32],
scale: pl.DT_FP32,
bias: pl.DT_FP32,
):
with pl.section_vector():
linear256
示例要点:
- SIMT 入口:
@pl.vector_function(mode="simt", max_threads=256)声明一个最多 256 个线程的 SIMT 向量函数; - 线程索引:
pl.simt.linear_thread_idx()获取当前线程的线性线程号,与数据下标一一对应,是 SIMT 编程中"线程-数据"映射的核心手段; - 标量访问:
source[0, tid]通过下标取出单个元素作为lhs,scale、bias是作为标量入参传入的两个乘数/加数; - 外层调度:
simt_fma_kernel通过@pl.jit()编译,在pl.section_vector()向量节内以linear256语法按 256 线程发起 SIMT 调度。
底层实现与调用链
从源码结构看,fma 的完整调用链分为三层:
- Python 用户层接口:
pl.simt.fma的声明位于 python/pypto_pro/language/_simt_api.py,是simt命名空间下的静态方法; - IR 构建层:接口最终调用 IR 层的
fma(lhs, rhs, addend, span),通过_create_math_call("fma", lhs, rhs, addend, span=span)生成名为simt.fma的 IR Call 节点(见 python/pypto_pro/ir/op/simt_ops.py),并经_register_scalar_math_parser("simt.fma", 3, fma)注册为三操作数标量数学算子(python/pypto_pro/ir/op/simt_ops.py); - 前端解析层:SIMT 标量数学表达式在 frontend parser 中按注册表解析,
test_scalar_math.py(python/tests/ut/pypto_pro/language/parser/test_scalar_math.py)与 CCE 标量数学码生层测试(python/tests/ut/pypto_pro/codegen/test_cce_scalar_math.py)分别覆盖了解析与代码生成环节。
因此,一个 pl.simt.fma(...) 调用会经历"Python 声明 → IR 算子构建 → 解析注册 → 代码生成"的完整编译流水线,最终落到昇腾硬件的一条融合乘加指令上。
多数据类型实战与精度验证
仓库的 SIMT 系统测试(test_simt_fma.py)同时覆盖了 FP16、BF16、FP32 三种数据类型,值得作为实战参考:
ELEMENTS = 64
@pl.vector_function(mode="simt", max_threads=ELEMENTS)
def fma_all_dtypes(
lhs_fp16: pl.Tensor[[1, ELEMENTS], pl.DT_FP16],
rhs_fp16: pl.Tensor[[1, ELEMENTS], pl.DT_FP16],
addend_fp16: pl.Tensor[[1, ELEMENTS], pl.DT_FP16],
# ... bf16 / fp32 输入与输出同构,此处省略
):
tid = pl.simt.linear_thread_idx()
out_fp16[0, tid] = pl.simt.fma(lhs_fp16[0, tid], rhs_fp16[0, tid], addend_fp16[0, tid])
# ... bf16 / fp32 同理
测试使用高精度基准函数(先提升到 float64 计算再转回原 dtype)作为 golden:
def _fma_golden(lhs, rhs, addend):
return (lhs.to(torch.float64) * rhs.to(torch.float64) + addend.to(torch.float64)).to(lhs.dtype)
并且特意选取了 1.0 + 2.0**-23(略大于 1 的最小单精度增量)、4097.0、16785408.0 等精度边界值,配合 rtol=0, atol=0 的零容差断言来严格验证 FMA"中间乘积不单独舍入"的数值语义(见 test_simt_fma.py)。在自己的内核中,可以沿用"float64 计算 golden + 边界值用例"的方式验证融合乘加的精度收益。
小结
pl.simt.fma(lhs, rhs, addend)在 SIMT 标量层面实现一次舍入的融合乘加lhs * rhs + addend;- 三操作数必须同为 FP16 / BF16 / FP32,返回类型与输入一致;
- 仅支持 Ascend 950PR / 950DT,仅能在
mode="simt"的向量函数及其辅助函数中调用; - Tensor / Tile 元素需通过下标访问后传入,典型用法是与
pl.simt.linear_thread_idx()结合实现逐线程的线性变换(如source * scale + bias); - 底层经由 simt_ops.py 的
simt.fma算子注册与代码生成流水线,落到硬件融合乘加指令,数值语义可参考 test_simt_fma.py 的零容差用例进行验证。