PyPTO SIMT 标量 fma:融合乘加(FMA)接口详解与实战

原创2026-09-19 10:13:211,887 阅读
文章标签:编译器人工智能高性能计算CANNAscend

PyPTO SIMT 标量 fma:融合乘加(FMA)接口详解与实战

导读

pypto_pro.language.simt.fma 是 PyPTO SIMT 编程范式下的标量融合乘加接口,用于在一次运算中完成 lhs * rhs + addend 的融合计算,且中间乘积不做单独舍入。本文以该接口文档为核心,结合 PyPTO 仓库中的 Python API 声明(python/pypto_pro/language/_simt_api.py、python/pypto_pro/ir/op/simt_ops.py)与测试用例(test_simt_fma.py),完整讲解其产品支持情况、函数原型、参数约束、底层实现与在 SIMT 向量函数中的实战写法,帮助你在 Ascend 950 系列产品上写出正确、可验证的融合乘加 SIMT 内核。

产品支持情况

fma 接口的硬件支持情况以当前仓库接口文档(fma.md)标注为准:

产品 支持情况
Ascend 950PR / Ascend 950DT 支持
Atlas A3 训练系列产品 / Atlas A3 推理系列产品 不支持
Atlas A2 训练系列产品 / Atlas A2 推理系列产品 不支持

这意味着当前版本中 fma 仅面向 Ascend 950 系列(SIMT 能力所在的新一代昇腾平台)开放,在 A2/A3 系列上不可用。仓库中的测试用例也以 @pytest.mark.soc("950") 标注运行平台,与文档的产品支持矩阵一致(见 test_simt_fma.py)。

功能说明

fma 执行**融合乘加(Fused Multiply-Add, FMA)**运算,一次融合运算内同时完成乘法和加法:

result=lhs×rhs+addendresult = lhs \times rhs + addend

其关键特性是中间乘积不单独舍入:与先乘(lhs * rhs 舍入一次)再加(舍入一次)的两步写法相比,FMA 只在最终结果处做一次舍入,精度更高、指令更少。测试用例中特意构造了 1.0 + 2.0**-23、4097.0 等接近精度边界的输入,并以 rtol=0, atol=0 的严格误差标准校验,正是为了验证"中间不单独舍入"的数值语义(见 test_simt_fma.py)。

函数原型

pypto_pro.language.simt.fma(
    lhs: Scalar,
    rhs: Scalar,
    addend: Scalar,
) -> Scalar
  • 三个入参均为 Scalar 类型;
  • 返回融合乘加结果,数据类型与输入一致。

参数说明

参数 输入/输出 说明
lhs 输入 源操作数(乘数),Scalar 类型,支持 DT_FP16、DT_BF16 和 DT_FP32。Tensor 或 Tile 元素需通过下标访问后传入。
rhs 输入 源操作数(乘数),Scalar 类型,数据类型必须与 lhs 一致。Tensor 或 Tile 元素需通过下标访问后传入。
addend 输入 源操作数(加数),Scalar 类型,数据类型必须与 lhs 和 rhs 一致。Tensor 或 Tile 元素需通过下标访问后传入。

参数要点

  • 三操作数同类型:lhs、rhs、addend 必须为同一种浮点类型(FP16 / BF16 / FP32),返回值类型与输入一致。Python 层 API 声明同样写明 "three same-dtype FP16, BF16, or FP32 Scalars"(见 python/pypto_pro/language/_simt_api.py)。
  • 元素级访问:fma 是标量(Scalar)运算,不能直接对整个 Tensor / Tile 整体调用;需要先通过下标(如 tensor[0, tid])取出单个元素再传入。

约束说明

fma 只能在由 @pypto_pro.language.vector_function(mode="simt") 定义的 SIMT 入口函数或辅助函数中调用。脱离 SIMT 上下文(例如在默认 vector 模式下)调用是不允许的。

返回值说明

返回 lhs * rhs + addend 的融合乘加结果,数据类型与输入一致(FP16 输入返回 FP16,BF16 输入返回 BF16,FP32 输入返回 FP32)。

调用示例

接口文档给出了一个完整的"向量化线性变换(linear)"示例:每个线程用自己对应的线程号 tid 取源数据元素,做一次 source * scale + bias 的融合乘加,写入输出:

import pypto_pro.language as pl

@pl.vector_function(mode="simt", max_threads=256)
def linear(
    source: pl.Tensor[[1, 256], pl.DT_FP32],
    output: pl.Tensor[[1, 256], pl.DT_FP32],
    scale: pl.DT_FP32,
    bias: pl.DT_FP32,
):
    tid = pl.simt.linear_thread_idx()
    output[0, tid] = pl.simt.fma(source[0, tid], scale, bias)


@pl.jit()
def simt_fma_kernel(
    source: pl.Tensor[[1, 256], pl.DT_FP32],
    output: pl.Tensor[[1, 256], pl.DT_FP32],
    scale: pl.DT_FP32,
    bias: pl.DT_FP32,
):
    with pl.section_vector():
        linear256

示例要点:

  • SIMT 入口:@pl.vector_function(mode="simt", max_threads=256) 声明一个最多 256 个线程的 SIMT 向量函数;
  • 线程索引:pl.simt.linear_thread_idx() 获取当前线程的线性线程号,与数据下标一一对应,是 SIMT 编程中"线程-数据"映射的核心手段;
  • 标量访问:source[0, tid] 通过下标取出单个元素作为 lhs,scale、bias 是作为标量入参传入的两个乘数/加数;
  • 外层调度:simt_fma_kernel 通过 @pl.jit() 编译,在 pl.section_vector() 向量节内以 linear256 语法按 256 线程发起 SIMT 调度。

底层实现与调用链

从源码结构看,fma 的完整调用链分为三层:

  1. Python 用户层接口:pl.simt.fma 的声明位于 python/pypto_pro/language/_simt_api.py,是 simt 命名空间下的静态方法;
  2. IR 构建层:接口最终调用 IR 层的 fma(lhs, rhs, addend, span),通过 _create_math_call("fma", lhs, rhs, addend, span=span) 生成名为 simt.fma 的 IR Call 节点(见 python/pypto_pro/ir/op/simt_ops.py),并经 _register_scalar_math_parser("simt.fma", 3, fma) 注册为三操作数标量数学算子(python/pypto_pro/ir/op/simt_ops.py);
  3. 前端解析层:SIMT 标量数学表达式在 frontend parser 中按注册表解析,test_scalar_math.py(python/tests/ut/pypto_pro/language/parser/test_scalar_math.py)与 CCE 标量数学码生层测试(python/tests/ut/pypto_pro/codegen/test_cce_scalar_math.py)分别覆盖了解析与代码生成环节。

因此,一个 pl.simt.fma(...) 调用会经历"Python 声明 → IR 算子构建 → 解析注册 → 代码生成"的完整编译流水线,最终落到昇腾硬件的一条融合乘加指令上。

多数据类型实战与精度验证

仓库的 SIMT 系统测试(test_simt_fma.py)同时覆盖了 FP16、BF16、FP32 三种数据类型,值得作为实战参考:

ELEMENTS = 64

@pl.vector_function(mode="simt", max_threads=ELEMENTS)
def fma_all_dtypes(
    lhs_fp16: pl.Tensor[[1, ELEMENTS], pl.DT_FP16],
    rhs_fp16: pl.Tensor[[1, ELEMENTS], pl.DT_FP16],
    addend_fp16: pl.Tensor[[1, ELEMENTS], pl.DT_FP16],
    # ... bf16 / fp32 输入与输出同构,此处省略
):
    tid = pl.simt.linear_thread_idx()
    out_fp16[0, tid] = pl.simt.fma(lhs_fp16[0, tid], rhs_fp16[0, tid], addend_fp16[0, tid])
    # ... bf16 / fp32 同理

测试使用高精度基准函数(先提升到 float64 计算再转回原 dtype)作为 golden:

def _fma_golden(lhs, rhs, addend):
    return (lhs.to(torch.float64) * rhs.to(torch.float64) + addend.to(torch.float64)).to(lhs.dtype)

并且特意选取了 1.0 + 2.0**-23(略大于 1 的最小单精度增量)、4097.0、16785408.0 等精度边界值,配合 rtol=0, atol=0 的零容差断言来严格验证 FMA"中间乘积不单独舍入"的数值语义(见 test_simt_fma.py)。在自己的内核中,可以沿用"float64 计算 golden + 边界值用例"的方式验证融合乘加的精度收益。

小结

  • pl.simt.fma(lhs, rhs, addend) 在 SIMT 标量层面实现一次舍入的融合乘加 lhs * rhs + addend;
  • 三操作数必须同为 FP16 / BF16 / FP32,返回类型与输入一致;
  • 仅支持 Ascend 950PR / 950DT,仅能在 mode="simt" 的向量函数及其辅助函数中调用;
  • Tensor / Tile 元素需通过下标访问后传入,典型用法是与 pl.simt.linear_thread_idx() 结合实现逐线程的线性变换(如 source * scale + bias);
  • 底层经由 simt_ops.py 的 simt.fma 算子注册与代码生成流水线,落到硬件融合乘加指令,数值语义可参考 test_simt_fma.py 的零容差用例进行验证。
登录后查看全文
pypto