DeepSeek mHC 模块落地昇腾:DeepGEMM-Ascend HC Prenorm GEMM 实现原理完整解析

原创2026-11-14 10:42:561,872 阅读

DeepSeek mHC 模块落地昇腾:DeepGEMM-Ascend HC Prenorm GEMM 实现原理完整解析

DeepGEMM-Ascend 是面向华为昇腾(Ascend)NPU 的矩阵乘法(GEMM)内核库,完全兼容 DeepGEMM 的 API。本文以 DeepSeek 的 mHC(Manifold-Constrained Hyper-Connections)模块为例,详解其核心的 HC Prenorm GEMM 算子如何利用 TileLang 在昇腾上实现"一次内核同时完成 GEMM 与逐行平方和"的融合计算,最终在 Ascend 950DT 上逼近 HBM 写入带宽的硬件极限。


一、mHC 模块是什么:HC Prenorm GEMM 要算什么?

mHC(流形约束超连接)是 DeepSeek 模型中用于改进残差连接结构的模块。落到底层算子,它的计算形式非常简单,但对带宽极其敏感:

输出 计算式 说明
D D = float(A) @ B.T 标准 GEMM,A 为 BF16,B 为 FP32
sqr_sum sqr_sum = sum(float(A) ** 2, dim=-1) 每行 token 的平方和(用于后续归一化)

生产形状(来自 tests/test_hyperconnection.py 的注释)为 N=24、K = 16384 / 20480 / 28672,对应 hidden size 4096 / 5120 / 7168,其中 N = hc_mult × (hc_mult + 2) = 4 × 6 = 24,K = hc_mult × hidden = 4 × hidden。

💡 关键点:输出列数 N 只有 24,而 K 高达 28672,这是一个典型的"瘦长矩阵"形状——计算量小、访存量大,瓶颈在内存带宽而非算力。谁能在读 A 一次的同时把 GEMM 和平方和都做完,谁就赢。

二、一个内核、两份结果:融合设计思想

普通实现需要 3~4 个独立算子:BF16→FP32 转换、GEMM、平方和归约,每个都要把 A 从 HBM 读一遍,写入中间结果再读出。而 DeepGEMM-Ascend 的 tf32_hc_prenorm_gemm 把这一切压缩进单个融合内核:

deep_gemm.tf32_hc_prenorm_gemm(a, b, d, sqr_sum)
# a: [M, K] BF16    b: [N, K] FP32
# d: [M, N] FP32    sqr_sum: [M] FP32
  • A 从 HBM 只读取一次,边读边完成升精度(BF16→FP32);
  • 升精度后的一份数据既喂给矩阵乘加单元做 GEMM,又顺手累加出行平方和;
  • GEMM 部分结果和平方和分别用不同策略写回(见下文),最大限度减少 HBM 写入放大。

这也是该算子在 README.md 性能一节中"nearly saturates the HBM write bandwidth"(几乎打满 HBM 写带宽)的根本原因。

三、AIC/AIV 协同:TileLang 内核如何分工

Ascend 的 AI Core 内部包含 AIC(矩阵计算,负责 Cube/MAD 乘加)和 AIV(向量计算,负责通用向量运算)两类执行单元。内核通过 T.MixedKernel(num_aic_cores) 同时调度它们(hc_prenorm.py):

角色 分工 对应代码机制
AIV(每核 2 个,各处理半个 token 块) 加载 BF16 数据、升精度为 FP32、逐行累加平方和 T.SimdVF 标量-向量指令、T.dual_copy
AIC 执行 TF32 GEMM,累加在 L0C 片上存储 T.gemm(..., transpose_B=True)

几个值得注意的硬件细节:

  1. 紧凑 NZ 布局:升精度后的 FP32 数据通过 make_ascend_compact_nz_layout 以分形 NZ 格式打包到 UB 片上内存,这是昇腾矩阵指令要求的数据布局,TileLang 抽象层自动处理了对齐和寻址;
  2. 多级流水:片上各存储(UB / L1 / L0)均配置了多 buffer 流水级(如 L0C 达 4 级),搬运与计算重叠执行;
  3. 平方和按 hidden 分块增量累加:每处理完一个 256 宽的 hidden 块,AIV 就把本块平方和累加进片上累加器,跨核只需最后写回一次(hc_prenorm.py)。

四、K 维切分与原子加:多核如何协作

M(token 数)可能很小(甚至个位数),不足以喂饱所有 AI Core,因此内核沿 K(hidden)维度切分,让多个核各自负责一段 hidden,再合并结果:

  • split 0 的核:普通写入 d 和 sqr_sum;
  • 其他 split 的核:调用 T.set_atomic('add', 'float32'),把局部结果原子加到 HBM 中的同一位置(hc_prenorm.py)。

⚠️ 由于 K 切分在内核内部完成归约,公开接口的 num_splits 参数只接受 None 或 1(hc_prenorm.py)。

确定性模式:默认模式下原子加的结果顺序不确定。调用 deep_gemm.use_deterministic_algorithms(True) 后,内核改为"按 split 顺序逐相位写入 + 核间屏障同步",保证 10 次重复运行结果逐位一致——测试中正是这样校验的(test_hyperconnection.py)。

切分数不是拍脑袋定的,get_config 会综合 token 块数、hidden 块数、AI Core 数量、L0C 流水级数 三个上界取最小,再向下取 2 的幂,自动算出 num_k_splits、每个 split 的核数等全部平铺参数。

五、验证与压测:如何复现测试与性能

克隆仓库后即可运行测试(依赖 CANN 9.20、torch_npu 与 tilelang,详见 README.md):

git clone https://gitcode.com/gh_mirrors/de/DeepGEMM-Ascend
cd DeepGEMM-Ascend
pip install . --no-build-isolation
python tests/test_hyperconnection.py default

测试流程分三步(test_hyperconnection.py):

  1. 正确性:与 PyTorch 参考实现对比,GEMM 输出和平方和的相对误差均要求 < 1e-6;
  2. 确定性:开启确定性算法后连跑 10 次,要求逐位相等;
  3. 性能:通过 bench_msprof 采集 PMU 管道利用率,测试前还会预编译全部形状(par_compile.py 在 dry-run 模式下并行编译,避免 JIT 干扰计时)。

六、性能数据:几乎打满 HBM 写带宽

Ascend 950DT(CANN 9.20)、冷 L2 下的实测(摘自 README.md):

M (tokens) N K 延迟 (us) 算力 (TFLOPS) 内存带宽 (GB/s)
13 24 28672 6.7 3 519
137 24 28672 9.6 20 1110
512 24 28672 15.4 46 2082
4096 24 28672 72.7 78 3276
8192 24 28672 136.7 82 3463

可以看到:M 越大,带宽利用率越高;M=8192 时达到 3463 GB/s,基本贴着硬件写带宽上限。这正是"融合 + 减少 HBM 往返"设计红利的直接体现。

七、核心文件清单

文件 内容
deep_gemm/tilelang_ops/hc_prenorm.py TileLang 内核实现 + 自动配置 get_config + Python 入口
deep_gemm/tilelang_ops/init.py 导出 tf32_hc_prenorm_gemm
deep_gemm/init.py 包级 API 注册
tests/test_hyperconnection.py 正确性 / 确定性 / 性能测试
deep_gemm/testing/bench.py msprof PMU 压测工具
deep_gemm/testing/par_compile.py 并行预编译,排除 JIT 计时干扰

小结

DeepGEMM-Ascend 的 HC Prenorm GEMM 用不到 400 行代码讲清了一个高效算子的完整套路:用融合消除重复访存,用 TileLang 的 AIC/AIV 混合调度贴近硬件,用自动平铺适配任意形状,用确定性/非确定性双模式兼顾正确性与性能。对想在昇腾上优化 GEMM 类算子的同学来说,它是极佳的参考实现。🚀

登录后查看全文
DeepGEMM-Ascend