FlashAttention原理实战:@mni-ml/framework中在线softmax与logsumexp的完整实现
FlashAttention原理实战:@mni-ml/framework中在线softmax与logsumexp的完整实现
本文以 @mni-ml/framework(一个 TypeScript API + Rust 后端、支持 CUDA 与 WebGPU 的机器学习框架)为蓝本,带你完整读懂 FlashAttention 的两大核心技巧:在线 softmax(Online Softmax) 与 logsumexp(LSE)——它们如何让注意力机制的显存占用从 O(S²) 降到 O(S),并在反向传播中"几乎零成本"地还原注意力权重。
一、为什么需要 FlashAttention
标准注意力要先算出完整的 S×S 分数矩阵,再做 softmax,最后乘 V。序列长度 S 一旦变大,这个 S×S 中间矩阵就会吃光显存,而且反复读写显存(global memory)本身就是性能瓶颈。
FlashAttention 的思路是:流式分块(tiled)计算,从头到尾不物化 S×S 矩阵。逐列扫描分数,边算边维护两个"滚动状态":
| 状态 | 含义 |
|---|---|
running_max |
当前已扫描部分的最大分数 m |
running_sum |
当前已扫描部分的指数和 l |
acc |
当前已扫描部分的加权累加(分子部分) |
在 @mni-ml/framework 中,这套逻辑由 CUDA kernel 完整实现,位于 flash_attention.cu,文件开头的注释直接点明了目标:"Tiled attention with online softmax, O(S) memory instead of O(S^2)"。
二、在线 softmax:单遍扫描的数学技巧
softmax 的难点在于:分母需要整行求和,而最大值用于数值稳定——传统做法必须扫两遍。在线 softmax 用了一个漂亮的缩放修正:
当新分数 dot 刷新最大值时,旧的最大值 old_max 与新最大值 running_max 之间产生一个修正因子 exp(old_max - running_max),用它把之前累加的结果整体"重新缩放":
float exp_diff = expf(old_max - running_max);
running_sum = running_sum * exp_diff + expf(dot - running_max);
acc = acc * exp_diff + expf(dot - running_max) * V[...];
核心更新逻辑只有三行,见 flash_attention.cu。循环结束时一次除法得到归一化输出:out = acc / running_sum。
💡 由于每个 exp 都减去了当前最大值,指数参数恒 ≤ 0,从根本上避免了 exp 上溢——这就是"在线"数值稳定性的来源。
三、logsumexp:反向传播的关键一笔
框架在 forward 中额外为每一行保存一个标量:
lse = running_max + log(running_sum)
即 log(Σ exp(s)),形状仅为 <a href="https://link.gitcode.com/i/df6aa57709b17667c34c7f24581207e4" target="_blank">B*H, S](对比 S×S 矩阵,几乎不占空间)。代码在 [flash_attention.cu:只有 d == 0 的线程负责写入,避免同一行被重复赋值。
反向传播时,这个标量就是"万能钥匙"——无需保存注意力矩阵,任意位置的权重都可以即时还原:
float p = expf(dot - lse_val); // 单元素还原 softmax 权重
配合 di = Σ(dO ⊙ Out)(逐行内积),backward kernel 就能算出 dQ、dK、dV 三项梯度:dV/dK 用 atomicAdd 跨行累加,dQ 在行内局部累加后直接写回,见 flash_attention_backward_f32。
📌 整个 LSE、Out、Q/K/V 等反向所需张量被打包进 autograd tape 的 SavedContext::FlashAttention,定义在 autograd.rs,反向时由 BackwardOp 分发表 路由到对应 kernel,与框架其他算子共享同一套自动微分机制。
四、项目中的完整实现地图
| 层 | 文件 | 职责 |
|---|---|---|
| CUDA kernel | flash_attention.cu | 前向 + 反向 kernel(在线 softmax / LSE) |
| Rust 算子 | attention.rs | CPU 纯 Rust 版同构实现(CPU/WebGPU 构建可跑) |
| CUDA 调度 | attention.rs | 线程块配置:每线程负责输出矩阵的一个 (row, d) 元素 |
| 自动微分 | autograd.rs | tape 记录、反向分发 |
| TS 封装 | nn.ts | 暴露 flashAttention(q, k, v, scale, causal) API |
| 测试 | native.test.ts | causal 掩码、形状校验 |
调用端只需一行(从 index.ts 导出):
import { Tensor, flashAttention } from '@mni-ml/framework';
const q = Tensor.randn([1, 2, 4, 8]);
const out = flashAttention(q, k, v, 1 / Math.sqrt(8), true); // causal 默认开启
五、如何安装与体验
npm install @mni-ml/framework
如需编译原生后端(需 Rust 工具链),可 clone 仓库(地址:https://gitcode.com/gh_mirrors/framework235/framework)后执行:
npm run build:native # CPU(默认)
npm run build:native:cuda # CUDA
npm run build:native:webgpu # WebGPU
值得注意的是:flash_attention 在 CPU 构建下并非"不可用",而是走 纯 Rust 的等算法实现,与 CUDA 版本逐行对应——非常适合把数学推导和 kernel 代码对照着读。
小结
- 在线 softmax 用"最大值缩放修正"实现了单遍扫描,省掉 S×S 矩阵;
- logsumexp 以每行一个标量的代价,让反向传播可以即时还原任意注意力权重;
- @mni-ml/framework 用不到 120 行 CUDA + 同构 Rust 代码,把这套机制连同完整 autograd 一起实现,是学习 ML 框架内部原理的优质样本。🚀