刚刚!DeepSeek 悄悄给 DeepGEMM 发了个大版本,1550 TFLOPS 新纪录背后藏着什么

原创2026-10-11 13:04:322,585 阅读
文章标签:人工智能算子库大模型高性能计算深度学习DeepSeek

刚刚!DeepSeek 悄悄给 DeepGEMM 发了个大版本,1550 TFLOPS 新纪录背后藏着什么

2026 年 9 月,DeepSeek 在几乎没有任何预热的情况下,把 DeepGEMM 从 v2.6.1 一路推到了 v2.8.0(Public Release 26/09,对应 PR #432)。这个"悄悄发布"的大版本,一次性合并了 115 个文件、约 1.2 万行新增代码,不只是又挤了几百 TFLOPS,而是把稀疏索引器、Mega Gate、Mega mHC、DeepJIT 集成、FP8×FP8 MoE 等一整批新内核塞进了同一个算子库。与此同时,社区反复提及的"1550 TFLOPS"这个数字,其实要追溯到更早的 2025 年 4 月——它和这次大版本之间,是一条长达一年半的性能与架构演进线。这篇文章结合仓库源码与社区情报,拆解这波更新到底改了什么、为什么值得关注。

1550 TFLOPS:一个被反复引用的里程碑,到底怎么来的

先厘清事实。社区情报里大量文章把"1550 TFLOPS"与 DeepGEMM 首发(2025 年 2 月开源周)绑定,但仓库 README.md 的 News 时间线显示,1550 TFLOPS 是 2025 年 4 月 18 日才正式写入的:DeepGEMM now achieves up to 1550 TFLOPS on H800!,对应 PR #74、#78、#81、#86 等一串连续的性能优化提交。

首发版的基线是"1350+ TFLOPS",PR #74 用一句话概括了增量来源:"By leveraging Large BlockTile optimization to alleviate L2 cache pressure and maximize data reuse, the H800-SXM achieves peak FP8 compute performance of 1470+ TFLOPS"。这份 PR 给出的对比表非常直观:把 BlockTile 从 128×128 扩大到 128×160 后,M=4096、N=7168、K=16384 的稠密 GEMM 从 1404 TF 提到 1470 TF,而 M=4096、N=32768、K=512 这种"低算术强度"的形状更是从 591 TF 暴涨 26.57% 到 748 TF——大 BlockTile 直接缓解了 L2 压力、拉高了数据复用率。随后的 #78/#81/#86 继续在分组 GEMM、TMA 多播(multicasting on B)等方向上打磨,最终在 H800-SXM 上封顶 1550 TFLOPS。

值得注意的细节是:这个数字是在"传统"SM90 架构的 H800 上打出来的,而 2025 年 7 月的 #112 之后,DeepGEMM 进入 SM90/SM100 双架构时代,FP8 性能重心逐步转移到 Blackwell 的第五代张量核心上。所以 1550 TFLOPS 更像一个"Hopper 时代的上限坐标",而不是这波大版本更新的直接产物——真正的主角是下面这些新内核。

v2.8.0 大版本:从"GEMM 库"到"LLM 算子全家桶"

对比开源周首发的 DeepGEMM——当时它只是一个 300 行核心代码、只有 fp8_gemm 与分组 GEMM 的 FP8 库——v2.8.0 的 deep_gemm/init.py 已经把 API 面扩张成一张完整的大模型计算清单:FP8/FP4/BF16 各类 GEMM、Mega MoE、Mega Gate、Mega mHC、MQA logits(含稀疏与 paged 版本)、einsum、HyperConnection,甚至还有 cuBLASLt 兜底路径。这份 PR #432 的 release notes 恰好给出了每个新内核的可量化收益:

Sparse Indexer(稀疏索引器)。为 V4.1 的 lightning indexer 提供层次化稀疏打分。传统 MQA logits 是每个 token 对全量 KV 打分,而稀疏版本只让每个 query 读取自己 KV 范围内的少量块——通过 sparse_kv_block_indices 指定每行有效的块索引,get_sparse_mqa_logits_metadata 在 host 端预生成调度元数据(csrc/apis/attention.hpp 中 fp8_fp4_sparse_mqa_logits、fp8_fp4_paged_sparse_mqa_logits 两个入口,块粒度只允许 8 或 16),从 O(seq²) 打分直接剪枝到近似线性。PR 声称其吞吐已"接近 Lightning Indexer"。

Mega Gate(门控融合大核)。把 MoE 的 routing GEMM 和 top-k 选路、scoring(sigmoid / sqrtsoftplus / identity)、bias、shared expert 分配等一堆操作融进一个 kernel,官方数字是 30–75% 加速。看 csrc/apis/mega_gate.hpp 的 bf16_mega_gate 签名,它一口气吞下了 mask、bias、image_bias、image_token_mask、fix_routing_mask、to_physical_map、logical_count、force_random 十几个可选输入,还支持把 shared expert 当作 routed 处理(use_shared_as_routed)——这已经不是一个 GEMM,而是一个完整的 MoE 路由器。

Mega mHC(HyperConnection 融合大核)。csrc/jit_kernels/impls/sm100_mega_mhc.hpp 中 sm100_mega_mhc 的入参列表可以直观看出它融合了什么:HC prenorm GEMM + Sinkhorn 迭代 + RMSNorm + 可选的 FP8 量化输出(y_fp8 + y_primary_sf/y_shared_sf),45–85% 加速。这一整套"残差混合 + 路由归一化"通常要在 PyTorch 里拆成五六个 kernel 的算子,现在一次 launch 解决。

Mega MoE 的 FP8×FP8 与确定性开关。Mega MoE 是 2026 年 4 月 #304 引入的旗舰内核,把 EP dispatch、linear 1、linear 2、SwiGLU、EP combine 全部重叠进一个 mega-kernel,并用对称内存 + NVLink 通信重叠(deep_gemm/mega/init.py 的 SymmBuffer 与 fp8_fp4_mega_moe)。v2.8.0 给它加了 mma_type='fp8xfp8' 选项,支持 FP8 路由专家权重,并针对 V4.1 又优化了一轮:低延迟场景约 15% 提速、高吞吐约 4%。同时新增的 use_deterministic_algorithms() API 值得所有 RL 用户注意——官方明确说明该开关默认 False(让部分 kernel 跑得更快),置 True 才恢复此前"全 kernel 确定性 + batch-invariant"的行为,这是 v2.8.0 里唯一一个面向旧用户的 breaking change。

API、JIT 与内存布局:从"能跑"到"工程化"的跃迁

首发版最被人称道的是"JIT 编译、无需手动 build"。v2.8.0 把这条路走得更彻底:内置的 csrc/jit/*(cache/compiler/device_runtime/handle/include_parser 等一整套)被整体删除,换成独立的 header-only 运行时 DeepJIT 显示运行时初始化只做三件事:拼接 include 路径、构造 deep_jit::Runtime、注入 NVCC 编译选项。随之而来的是一组语义调整:C++ 标准升到 20、依赖从 fmt 换成 std::format、环境变量全面改为 DG_JIT_*(未设置时回退到 DJ_JIT_*),DG_JIT_DEBUG 可以 dump PTX/SASS、DG_JIT_CHECK_NO_SPILLS 直接禁止寄存器溢出——这些开关在 README.md 的 Utilities 与 Environment Variables 章节有完整列表,工程化程度比首发版高了一个量级。

内存布局方面的变化则更贴近日常使用。首发版要求 SM90 的 scaling factor 必须是 FP32,SM100 引入后要求 packed UE8M0 格式(4 个指数打包进一个 torch.int)。v2.8.0 为这套 SF 约定补了一份 469 行的契约文档 docs/scaling-factor-format.md,把 SF 的 shape、dtype、stride、transform 管线和"MN-major + TMA 对齐"格式全部规格化,还给出了"权重 SF 只 transform 一次、之后走 validate-only 路径"的最佳实践:

sfw = deep_gemm.transform_sf_into_required_layout(
    sf=scale_factor,
    mn=d, k=r,
    recipe=(1, 128, 128),
    is_sfa=False,
    num_groups=h,
)
# sfw: [h, d, ceil_div(r, 128 * 4)], int32, MN-major, TMA-aligned. Cache and reuse.

另外两个 API 细节值得注意:一是 FP8/FP4 GEMM 名称统一,fp8_gemm_nt 现在只是 fp8_fp4_gemm_nt 的别名(deep_gemm/init.py),意味着同一个入口可接受任意 FP8/FP4 操作数组合;二是 use_fp8_dispatch 参数被 mma_type 取代并标记弃用。前者是"静默行为变化",升级用户应当重新跑一遍 benchmark 确认无性能回退。

DeepSeek 为什么时隔这么久回炉一个算子库

把时间线拉直看会更清楚:2025.02 开源周首发(SM90、1350+ TFLOPS)→ 2025.04 冲上 1550 TFLOPS → 2025.05 补权重梯度内核 → 2025.07 SM90/SM100 全量重构 + DeepJIT 化 → 2025.09 支持 V3.2 indexer 的 MQA scoring → 2026.04 Mega MoE 与 FP8×FP4 → 2026.09 这波 v2.8.0。这不是"回炉",而是一条跟随自家模型(V3/R1 → V3.2 → V4.1)持续迭代的内核主线。

最核心的信号在 PR #432 的 release notes 与引用记录里:合并后不到一天,vLLM 与 SGLang 就相继开出了 [Feature]: DeepSeek-V4.1-Flash Kernels Integration 和 [DSv4.1] Integrate Mega-mHC from DeepGEMM 等追踪 issue,SGLang 甚至用 "Mega MoE optimizations for V4.1" 的措辞直接对标模型版本。换句话说,DeepSeek 每次发布新模型,DeepGEMM 都会同步沉淀一批"训练/推理时真正被压榨过的"算子:稀疏索引器对应 V4.1 的 attention 剪枝,Mega Gate 对应新路由结构,Mega mHC 对应 HyperConnection 块。算子库的更新节奏 = 模型架构的演化节奏。

另一个值得观察的工程信号是"更广的兜底":v2.8.0 把 cuBLASLt 用到了更简单的 GEMM 与 batched 运算上(cublaslt_gemm_*、batched_syrk、batched_symm 出现在 deep_gemm/init.py 的导出列表里)。这意味着 DeepGEMM 不再执着于"所有形状都手写内核",而是让手写内核只覆盖值得覆盖的高价值路径,其余交给专家调优的官方库——这种"能省则省、该拼则拼"的取舍,比堆更多手写 kernel 更像成熟工业库的做法。

对开发者而言,这份更新的实际价值是:DeepGEMM 的定位已经从"300 行的 FP8 GEMM 教学级实现",长成了一个可对照 CUTLASS、可学习 SM100 集群/TMA/UTCCP 调优技巧、且能直接接入 V4.1 生态的完整参考实现。1550 TFLOPS 是它的历史坐标,而 v2.8.0 里那些融合大核与 JIT 工程化改造,才是这波"大版本"真正值得拆解的内容。

登录后查看全文
DeepGEMM