FlashAttention原理实战:@mni-ml/framework中在线softmax与logsumexp的完整实现

原创2026-10-16 11:53:381,815 阅读
文章标签:人工智能机器学习深度学习

FlashAttention原理实战:@mni-ml/framework中在线softmax与logsumexp的完整实现

本文以 @mni-ml/framework(一个 TypeScript API + Rust 后端、支持 CUDA 与 WebGPU 的机器学习框架)为蓝本,带你完整读懂 FlashAttention 的两大核心技巧:在线 softmax(Online Softmax) 与 logsumexp(LSE)——它们如何让注意力机制的显存占用从 O(S²) 降到 O(S),并在反向传播中"几乎零成本"地还原注意力权重。

一、为什么需要 FlashAttention

标准注意力要先算出完整的 S×S 分数矩阵,再做 softmax,最后乘 V。序列长度 S 一旦变大,这个 S×S 中间矩阵就会吃光显存,而且反复读写显存(global memory)本身就是性能瓶颈。

FlashAttention 的思路是:流式分块(tiled)计算,从头到尾不物化 S×S 矩阵。逐列扫描分数,边算边维护两个"滚动状态":

状态 含义
running_max 当前已扫描部分的最大分数 m
running_sum 当前已扫描部分的指数和 l
acc 当前已扫描部分的加权累加(分子部分)

在 @mni-ml/framework 中,这套逻辑由 CUDA kernel 完整实现,位于 flash_attention.cu,文件开头的注释直接点明了目标:"Tiled attention with online softmax, O(S) memory instead of O(S^2)"。

二、在线 softmax:单遍扫描的数学技巧

softmax 的难点在于:分母需要整行求和,而最大值用于数值稳定——传统做法必须扫两遍。在线 softmax 用了一个漂亮的缩放修正:

当新分数 dot 刷新最大值时,旧的最大值 old_max 与新最大值 running_max 之间产生一个修正因子 exp(old_max - running_max),用它把之前累加的结果整体"重新缩放":

float exp_diff = expf(old_max - running_max);
running_sum = running_sum * exp_diff + expf(dot - running_max);
acc = acc * exp_diff + expf(dot - running_max) * V[...];

核心更新逻辑只有三行,见 flash_attention.cu。循环结束时一次除法得到归一化输出:out = acc / running_sum。

💡 由于每个 exp 都减去了当前最大值,指数参数恒 ≤ 0,从根本上避免了 exp 上溢——这就是"在线"数值稳定性的来源。

三、logsumexp:反向传播的关键一笔

框架在 forward 中额外为每一行保存一个标量:

lse = running_max + log(running_sum)

即 log(Σ exp(s)),形状仅为 <a href="https://link.gitcode.com/i/df6aa57709b17667c34c7f24581207e4" target="_blank">B*H, S](对比 S×S 矩阵,几乎不占空间)。代码在 [flash_attention.cu:只有 d == 0 的线程负责写入,避免同一行被重复赋值。

反向传播时,这个标量就是"万能钥匙"——无需保存注意力矩阵,任意位置的权重都可以即时还原:

float p = expf(dot - lse_val);   // 单元素还原 softmax 权重

配合 di = Σ(dO ⊙ Out)(逐行内积),backward kernel 就能算出 dQ、dK、dV 三项梯度:dV/dK 用 atomicAdd 跨行累加,dQ 在行内局部累加后直接写回,见 flash_attention_backward_f32。

📌 整个 LSE、Out、Q/K/V 等反向所需张量被打包进 autograd tape 的 SavedContext::FlashAttention,定义在 autograd.rs,反向时由 BackwardOp 分发表 路由到对应 kernel,与框架其他算子共享同一套自动微分机制。

四、项目中的完整实现地图

层 文件 职责
CUDA kernel flash_attention.cu 前向 + 反向 kernel(在线 softmax / LSE)
Rust 算子 attention.rs CPU 纯 Rust 版同构实现(CPU/WebGPU 构建可跑)
CUDA 调度 attention.rs 线程块配置:每线程负责输出矩阵的一个 (row, d) 元素
自动微分 autograd.rs tape 记录、反向分发
TS 封装 nn.ts 暴露 flashAttention(q, k, v, scale, causal) API
测试 native.test.ts causal 掩码、形状校验

调用端只需一行(从 index.ts 导出):

import { Tensor, flashAttention } from '@mni-ml/framework';

const q = Tensor.randn([1, 2, 4, 8]);
const out = flashAttention(q, k, v, 1 / Math.sqrt(8), true); // causal 默认开启

五、如何安装与体验

npm install @mni-ml/framework

如需编译原生后端(需 Rust 工具链),可 clone 仓库(地址:https://gitcode.com/gh_mirrors/framework235/framework)后执行:

npm run build:native        # CPU(默认)
npm run build:native:cuda   # CUDA
npm run build:native:webgpu # WebGPU

值得注意的是:flash_attention 在 CPU 构建下并非"不可用",而是走 纯 Rust 的等算法实现,与 CUDA 版本逐行对应——非常适合把数学推导和 kernel 代码对照着读。

小结

  • 在线 softmax 用"最大值缩放修正"实现了单遍扫描,省掉 S×S 矩阵;
  • logsumexp 以每行一个标量的代价,让反向传播可以即时还原任意注意力权重;
  • @mni-ml/framework 用不到 120 行 CUDA + 同构 Rust 代码,把这套机制连同完整 autograd 一起实现,是学习 ML 框架内部原理的优质样本。🚀
登录后查看全文
framework