DeepSeek mHC 模块落地昇腾:DeepGEMM-Ascend HC Prenorm GEMM 实现原理完整解析
DeepSeek mHC 模块落地昇腾:DeepGEMM-Ascend HC Prenorm GEMM 实现原理完整解析
DeepGEMM-Ascend 是面向华为昇腾(Ascend)NPU 的矩阵乘法(GEMM)内核库,完全兼容 DeepGEMM 的 API。本文以 DeepSeek 的 mHC(Manifold-Constrained Hyper-Connections)模块为例,详解其核心的 HC Prenorm GEMM 算子如何利用 TileLang 在昇腾上实现"一次内核同时完成 GEMM 与逐行平方和"的融合计算,最终在 Ascend 950DT 上逼近 HBM 写入带宽的硬件极限。
一、mHC 模块是什么:HC Prenorm GEMM 要算什么?
mHC(流形约束超连接)是 DeepSeek 模型中用于改进残差连接结构的模块。落到底层算子,它的计算形式非常简单,但对带宽极其敏感:
| 输出 | 计算式 | 说明 |
|---|---|---|
D |
D = float(A) @ B.T |
标准 GEMM,A 为 BF16,B 为 FP32 |
sqr_sum |
sqr_sum = sum(float(A) ** 2, dim=-1) |
每行 token 的平方和(用于后续归一化) |
生产形状(来自 tests/test_hyperconnection.py 的注释)为 N=24、K = 16384 / 20480 / 28672,对应 hidden size 4096 / 5120 / 7168,其中 N = hc_mult × (hc_mult + 2) = 4 × 6 = 24,K = hc_mult × hidden = 4 × hidden。
💡 关键点:输出列数 N 只有 24,而 K 高达 28672,这是一个典型的"瘦长矩阵"形状——计算量小、访存量大,瓶颈在内存带宽而非算力。谁能在读 A 一次的同时把 GEMM 和平方和都做完,谁就赢。
二、一个内核、两份结果:融合设计思想
普通实现需要 3~4 个独立算子:BF16→FP32 转换、GEMM、平方和归约,每个都要把 A 从 HBM 读一遍,写入中间结果再读出。而 DeepGEMM-Ascend 的 tf32_hc_prenorm_gemm 把这一切压缩进单个融合内核:
deep_gemm.tf32_hc_prenorm_gemm(a, b, d, sqr_sum)
# a: [M, K] BF16 b: [N, K] FP32
# d: [M, N] FP32 sqr_sum: [M] FP32
A从 HBM 只读取一次,边读边完成升精度(BF16→FP32);- 升精度后的一份数据既喂给矩阵乘加单元做 GEMM,又顺手累加出行平方和;
- GEMM 部分结果和平方和分别用不同策略写回(见下文),最大限度减少 HBM 写入放大。
这也是该算子在 README.md 性能一节中"nearly saturates the HBM write bandwidth"(几乎打满 HBM 写带宽)的根本原因。
三、AIC/AIV 协同:TileLang 内核如何分工
Ascend 的 AI Core 内部包含 AIC(矩阵计算,负责 Cube/MAD 乘加)和 AIV(向量计算,负责通用向量运算)两类执行单元。内核通过 T.MixedKernel(num_aic_cores) 同时调度它们(hc_prenorm.py):
| 角色 | 分工 | 对应代码机制 |
|---|---|---|
| AIV(每核 2 个,各处理半个 token 块) | 加载 BF16 数据、升精度为 FP32、逐行累加平方和 | T.SimdVF 标量-向量指令、T.dual_copy |
| AIC | 执行 TF32 GEMM,累加在 L0C 片上存储 | T.gemm(..., transpose_B=True) |
几个值得注意的硬件细节:
- 紧凑 NZ 布局:升精度后的 FP32 数据通过
make_ascend_compact_nz_layout以分形 NZ 格式打包到 UB 片上内存,这是昇腾矩阵指令要求的数据布局,TileLang 抽象层自动处理了对齐和寻址; - 多级流水:片上各存储(UB / L1 / L0)均配置了多 buffer 流水级(如 L0C 达 4 级),搬运与计算重叠执行;
- 平方和按 hidden 分块增量累加:每处理完一个 256 宽的 hidden 块,AIV 就把本块平方和累加进片上累加器,跨核只需最后写回一次(hc_prenorm.py)。
四、K 维切分与原子加:多核如何协作
M(token 数)可能很小(甚至个位数),不足以喂饱所有 AI Core,因此内核沿 K(hidden)维度切分,让多个核各自负责一段 hidden,再合并结果:
- split 0 的核:普通写入
d和sqr_sum; - 其他 split 的核:调用
T.set_atomic('add', 'float32'),把局部结果原子加到 HBM 中的同一位置(hc_prenorm.py)。
⚠️ 由于 K 切分在内核内部完成归约,公开接口的
num_splits参数只接受None或1(hc_prenorm.py)。
确定性模式:默认模式下原子加的结果顺序不确定。调用 deep_gemm.use_deterministic_algorithms(True) 后,内核改为"按 split 顺序逐相位写入 + 核间屏障同步",保证 10 次重复运行结果逐位一致——测试中正是这样校验的(test_hyperconnection.py)。
切分数不是拍脑袋定的,get_config 会综合 token 块数、hidden 块数、AI Core 数量、L0C 流水级数 三个上界取最小,再向下取 2 的幂,自动算出 num_k_splits、每个 split 的核数等全部平铺参数。
五、验证与压测:如何复现测试与性能
克隆仓库后即可运行测试(依赖 CANN 9.20、torch_npu 与 tilelang,详见 README.md):
git clone https://gitcode.com/gh_mirrors/de/DeepGEMM-Ascend
cd DeepGEMM-Ascend
pip install . --no-build-isolation
python tests/test_hyperconnection.py default
测试流程分三步(test_hyperconnection.py):
- 正确性:与 PyTorch 参考实现对比,GEMM 输出和平方和的相对误差均要求
< 1e-6; - 确定性:开启确定性算法后连跑 10 次,要求逐位相等;
- 性能:通过 bench_msprof 采集 PMU 管道利用率,测试前还会预编译全部形状(par_compile.py 在 dry-run 模式下并行编译,避免 JIT 干扰计时)。
六、性能数据:几乎打满 HBM 写带宽
Ascend 950DT(CANN 9.20)、冷 L2 下的实测(摘自 README.md):
| M (tokens) | N | K | 延迟 (us) | 算力 (TFLOPS) | 内存带宽 (GB/s) |
|---|---|---|---|---|---|
| 13 | 24 | 28672 | 6.7 | 3 | 519 |
| 137 | 24 | 28672 | 9.6 | 20 | 1110 |
| 512 | 24 | 28672 | 15.4 | 46 | 2082 |
| 4096 | 24 | 28672 | 72.7 | 78 | 3276 |
| 8192 | 24 | 28672 | 136.7 | 82 | 3463 |
可以看到:M 越大,带宽利用率越高;M=8192 时达到 3463 GB/s,基本贴着硬件写带宽上限。这正是"融合 + 减少 HBM 往返"设计红利的直接体现。
七、核心文件清单
| 文件 | 内容 |
|---|---|
| deep_gemm/tilelang_ops/hc_prenorm.py | TileLang 内核实现 + 自动配置 get_config + Python 入口 |
| deep_gemm/tilelang_ops/init.py | 导出 tf32_hc_prenorm_gemm |
| deep_gemm/init.py | 包级 API 注册 |
| tests/test_hyperconnection.py | 正确性 / 确定性 / 性能测试 |
| deep_gemm/testing/bench.py | msprof PMU 压测工具 |
| deep_gemm/testing/par_compile.py | 并行预编译,排除 JIT 计时干扰 |
小结
DeepGEMM-Ascend 的 HC Prenorm GEMM 用不到 400 行代码讲清了一个高效算子的完整套路:用融合消除重复访存,用 TileLang 的 AIC/AIV 混合调度贴近硬件,用自动平铺适配任意形状,用确定性/非确定性双模式兼顾正确性与性能。对想在昇腾上优化 GEMM 类算子的同学来说,它是极佳的参考实现。🚀