Hyper-Connections深度解读:DeepSeek-V4-Flash-nvfp4-DSpark的4份隐状态混合与Sinkhorn算法详解
Hyper-Connections深度解读:DeepSeek-V4-Flash-nvfp4-DSpark的4份隐状态混合与Sinkhorn算法详解
在 DeepSeek-V4-Flash-nvfp4-DSpark 模型中,Hyper-Connections(HC,超连接) 用一个简单却巧妙的思路改写了 Transformer 的残差路径:它不再只传递 1 份隐状态,而是同时维护 4 份(由 hc_mult 决定)隐状态副本,并在每一层里通过可学习的加权混合把它们融合起来。配合 Sinkhorn 算法对混合矩阵做的行列归一化,这套机制让信息在层间"并行流动",而不是被单条残差链逐步稀释。本文将用通俗易懂的语言,带你彻底搞懂 4 份隐状态是怎么混合的,以及 Sinkhorn 算法在其中扮演了什么角色。
什么是 Hyper-Connections?先看传统残差的问题
传统 Transformer 的残差连接像一条"传送带":
x_{l+1} = x_l + F( x_l )
每一层只有一条主干信息流。当网络堆到几十层时,早期层注入的信息会被反复叠加、归一化,逐渐"淹没"。
Hyper-Connections 的做法是把传送带从 1 条扩成 4 条并行的传送带:
- 每个 token 的隐状态从
[d]变成[hc_mult, d],也就是 4 份副本; - 进入子层(Attention / MoE-FFN)前,用一组可学习权重把 4 份"压缩"回 1 份(
hc_pre); - 子层算完后,再用一组权重同时把新结果和原来的 4 份残差"重新混合"回 4 份(
hc_post)。
💡 一句话概括:把"1 条残差链"升级成"4 条可互相调度的残差通道",让每一层都能主动决定"从哪份通道取多少、往哪份通道写多少"。
这一设计对应代码里的 Block 类,其中 hc_mult 从 config.json 的 "hc_mult": 4 读取。
4 份隐状态:从词嵌入到 4 路并行
模型前向传播时,词嵌入先被"复制"成 4 份,再送入 43 层 Block:
h = embed(input_ids) # [b, s, d]
h = h.repeat(1, 1, hc_mult, 1) # [b, s, 4, d] ← 4 份并行
for layer in layers:
h = layer(h, ...) # 每层在 4 份之间动态混合
这段逻辑在 Transformer.forward 中,关键就是 h.unsqueeze(2).repeat(1, 1, self.hc_mult, 1)。注意:并不是 4 份各自独立训练,而是它们共享同一套子层(Attention、MoE),只是"进出子层时怎么分配 4 份"由可学习参数决定。
hc_pre:把 4 份融合成 1 份(进子层前)
每个 Block 里有两个子层:Attention 和 MoE-FFN。进入每个子层前,都要先调用 hc_pre:
mixes = Linear(x) * rsqrt( ||x|| ) # 从 4 份隐状态算出 6*4=24 个混合系数
pre, post, comb = Sinkhorn(mixes) # 拆成 pre / post / comb 三组
y = sum( pre[:, j] * x[:, j] ) # 用 pre 加权求和 → 1 份
这里 mixes 是一个长度为 (2 + hc_mult) * hc_mult = 6 * 4 = 24 的向量(见 Block.__init__ 里的 mix_hc = (2 + hc_mult) * hc_mult)。它被 hc_split_sinkhorn 一次性拆成三组:
| 组 | 形状 | 作用 | 取值方式 |
|---|---|---|---|
pre |
[4] |
4 份 → 1 份的"读取"权重 | sigmoid(mixes[j]·scale + base) + eps |
post |
[4] |
1 份 → 4 份的"写入"权重 | 2·sigmoid(mixes[j+4]·scale + base) |
comb |
[4,4] |
4 份残差之间的"组合"矩阵 | 经 Sinkhorn 归一化 |
pre 组负责"读出":它给 4 份隐状态各分配一个权重,加权求和成 1 份喂给子层。由于用 sigmoid,每个权重都在 (0, 1) 区间,天然不会爆炸。
完整实现见 hc_pre。
hc_post:把子层结果与 4 份残差重新混合(出子层后)
子层(Attention 或 MoE)输出 x(1 份)后,hc_post 负责把它"分发"回 4 份,同时保留原来的残差:
y[:, j] = post[j] * x # 子层输出按 post 权重写到第 j 份
+ Σ_k comb[j, k] * residual[:, k] # 再把旧残差 4 份按 comb 混合进来
也就是说,新的第 j 份隐状态 = post 写入的新信息 + comb 混合的旧信息。comb 矩阵让 4 份之间可以互相"传递信息"——这正是 Hyper-Connections 相对单条残差的核心增益。
实现见 hc_post,其中 residual 就是进子层前的那份 4 路状态。
Sinkhorn 算法详解:给 comb 矩阵"行列归一化"
comb 是 4×4 的混合矩阵。为了让它成为一个良态的混合矩阵(每份既不饿死也不过载),DeepSeek-V4-Flash 对 comb 做了一套 Sinkhorn 迭代归一化——这正是标题里"Sinkhorn 算法详解"的重点。
第 1 步:先做一个行 softmax
comb = softmax(comb, dim=-1) + eps # 每行和为 1
第 2 步:列归一化(带 eps 防零除)
comb = comb / (comb.sum(dim=-2) + eps) # 每列再和为 1
第 3 步:交替行 / 列归一化,重复 hc_sinkhorn_iters 次
for _ in range(sinkhorn_iters - 1):
comb = comb / (comb.sum(dim=-1) + eps) # 行归一化
comb = comb / (comb.sum(dim=-2) + eps) # 列归一化
📐 Sinkhorn 的本质:交替对矩阵做行归一化和列归一化,让矩阵逐步逼近一个双随机矩阵(doubly stochastic matrix)——即每行、每列的和都恰好为 1。经过约 20 次(由
hc_sinkhorn_iters控制)迭代后,4 份通道之间的信息流达到一种"进出平衡"的稳定态:没有哪一条通道被系统性放大或压制。
这套算法在 GPU 上用 TileLang 实现为自定义 kernel hc_split_sinkhorn_kernel,并封装成 hc_split_sinkhorn 供 hc_pre 调用。参数 hc_sinkhorn_iters 与数值稳定项 hc_eps 都来自 config.json("hc_eps": 1e-06)。
为什么需要它? 没有 Sinkhorn,comb 可能出现"某行权重全挤在一份上"的情况,导致信息在某几条通道里反复自我增强、其余通道逐渐失效。Sinkhorn 的行列归一化保证了 4 份隐状态长期均衡地参与计算,这也是"Manifold-Constrained(流形约束)Hyper-Connections"中"约束"二字的体现。
输出头:4 份如何再聚合回 1 份?
模型最后的 LM Head 之前,还要把 4 份隐状态再一次聚合回 1 份,再算 logits。ParallelHead.hc_head 复用了同样的机制:用 sigmoid(mixes·scale + base) + eps 得到一组 pre 权重,加权求和成 1 份,最后过 RMSNorm 和词表投影。
实现见 hc_head。值得注意的是:MTP 草稿头(投机解码用的 3 层 draft head)也继承了这套 HC 结构,见 MTPBlock——这让目标模型与草稿头共享一致的"4 份隐状态"表示,避免量化配置错配。
参数速查表
| 配置项 | 默认值 | 含义 | 出处 |
|---|---|---|---|
hc_mult |
4 | 隐状态并行副本数("4 份") | config.json#L68 |
hc_sinkhorn_iters |
20 | Sinkhorn 交替归一化迭代次数 | config.json#L69 |
hc_eps |
1e-06 | 归一化防零除 / 数值稳定项 | config.json#L67 |
mix_hc |
24 | 每次混合计算的系数向量长度 = (2+4)×4 | model.py#L663 |
小结
- Hyper-Connections 把单条残差链扩展成 4 条可互相调度的通道(
hc_mult = 4)。 - 每个子层用
hc_pre(读出)+hc_post(写入 + 组合)完成 4 份隐状态的动态混合。 - Sinkhorn 算法通过对
comb组合矩阵做 20 次行列交替归一化,使其逼近双随机矩阵,保证 4 份通道长期均衡,这就是"流形约束"的关键。 - 从词嵌入复制到输出头聚合,整条路径始终保持 4 份并行,并与 DSpark 投机解码草稿头共享同一表示,实现单 checkpoint 内 target + draft 一致量化。
想亲手验证?仓库提供了推理代码:参考 inference/README.md 用
convert.py转换权重、generate.py启动交互对话即可在本地跑起来。