Hyper-Connections深度解读:DeepSeek-V4-Flash-nvfp4-DSpark的4份隐状态混合与Sinkhorn算法详解

原创2026-10-17 16:04:031,843 阅读

Hyper-Connections深度解读:DeepSeek-V4-Flash-nvfp4-DSpark的4份隐状态混合与Sinkhorn算法详解

在 DeepSeek-V4-Flash-nvfp4-DSpark 模型中,Hyper-Connections(HC,超连接) 用一个简单却巧妙的思路改写了 Transformer 的残差路径:它不再只传递 1 份隐状态,而是同时维护 4 份(由 hc_mult 决定)隐状态副本,并在每一层里通过可学习的加权混合把它们融合起来。配合 Sinkhorn 算法对混合矩阵做的行列归一化,这套机制让信息在层间"并行流动",而不是被单条残差链逐步稀释。本文将用通俗易懂的语言,带你彻底搞懂 4 份隐状态是怎么混合的,以及 Sinkhorn 算法在其中扮演了什么角色。

什么是 Hyper-Connections?先看传统残差的问题

传统 Transformer 的残差连接像一条"传送带":

x_{l+1} = x_l + F( x_l )

每一层只有一条主干信息流。当网络堆到几十层时,早期层注入的信息会被反复叠加、归一化,逐渐"淹没"。

Hyper-Connections 的做法是把传送带从 1 条扩成 4 条并行的传送带:

  • 每个 token 的隐状态从 [d] 变成 [hc_mult, d],也就是 4 份副本;
  • 进入子层(Attention / MoE-FFN)前,用一组可学习权重把 4 份"压缩"回 1 份(hc_pre);
  • 子层算完后,再用一组权重同时把新结果和原来的 4 份残差"重新混合"回 4 份(hc_post)。

💡 一句话概括:把"1 条残差链"升级成"4 条可互相调度的残差通道",让每一层都能主动决定"从哪份通道取多少、往哪份通道写多少"。

这一设计对应代码里的 Block 类,其中 hc_mult 从 config.json 的 "hc_mult": 4 读取。

4 份隐状态:从词嵌入到 4 路并行

模型前向传播时,词嵌入先被"复制"成 4 份,再送入 43 层 Block:

h = embed(input_ids)                 # [b, s, d]
h = h.repeat(1, 1, hc_mult, 1)       # [b, s, 4, d]  ← 4 份并行
for layer in layers:
    h = layer(h, ...)                # 每层在 4 份之间动态混合

这段逻辑在 Transformer.forward 中,关键就是 h.unsqueeze(2).repeat(1, 1, self.hc_mult, 1)。注意:并不是 4 份各自独立训练,而是它们共享同一套子层(Attention、MoE),只是"进出子层时怎么分配 4 份"由可学习参数决定。

hc_pre:把 4 份融合成 1 份(进子层前)

每个 Block 里有两个子层:Attention 和 MoE-FFN。进入每个子层前,都要先调用 hc_pre:

mixes = Linear(x) * rsqrt( ||x|| )      # 从 4 份隐状态算出 6*4=24 个混合系数
pre, post, comb = Sinkhorn(mixes)        # 拆成 pre / post / comb 三组
y = sum( pre[:, j] * x[:, j] )          # 用 pre 加权求和 → 1 份

这里 mixes 是一个长度为 (2 + hc_mult) * hc_mult = 6 * 4 = 24 的向量(见 Block.__init__ 里的 mix_hc = (2 + hc_mult) * hc_mult)。它被 hc_split_sinkhorn 一次性拆成三组:

组 形状 作用 取值方式
pre [4] 4 份 → 1 份的"读取"权重 sigmoid(mixes[j]·scale + base) + eps
post [4] 1 份 → 4 份的"写入"权重 2·sigmoid(mixes[j+4]·scale + base)
comb [4,4] 4 份残差之间的"组合"矩阵 经 Sinkhorn 归一化

pre 组负责"读出":它给 4 份隐状态各分配一个权重,加权求和成 1 份喂给子层。由于用 sigmoid,每个权重都在 (0, 1) 区间,天然不会爆炸。

完整实现见 hc_pre。

hc_post:把子层结果与 4 份残差重新混合(出子层后)

子层(Attention 或 MoE)输出 x(1 份)后,hc_post 负责把它"分发"回 4 份,同时保留原来的残差:

y[:, j] = post[j] * x                     # 子层输出按 post 权重写到第 j 份
        + Σ_k comb[j, k] * residual[:, k]  # 再把旧残差 4 份按 comb 混合进来

也就是说,新的第 j 份隐状态 = post 写入的新信息 + comb 混合的旧信息。comb 矩阵让 4 份之间可以互相"传递信息"——这正是 Hyper-Connections 相对单条残差的核心增益。

实现见 hc_post,其中 residual 就是进子层前的那份 4 路状态。

Sinkhorn 算法详解:给 comb 矩阵"行列归一化"

comb 是 4×4 的混合矩阵。为了让它成为一个良态的混合矩阵(每份既不饿死也不过载),DeepSeek-V4-Flash 对 comb 做了一套 Sinkhorn 迭代归一化——这正是标题里"Sinkhorn 算法详解"的重点。

第 1 步:先做一个行 softmax

comb = softmax(comb, dim=-1) + eps     # 每行和为 1

第 2 步:列归一化(带 eps 防零除)

comb = comb / (comb.sum(dim=-2) + eps) # 每列再和为 1

第 3 步:交替行 / 列归一化,重复 hc_sinkhorn_iters 次

for _ in range(sinkhorn_iters - 1):
    comb = comb / (comb.sum(dim=-1)  + eps)   # 行归一化
    comb = comb / (comb.sum(dim=-2)  + eps)   # 列归一化

📐 Sinkhorn 的本质:交替对矩阵做行归一化和列归一化,让矩阵逐步逼近一个双随机矩阵(doubly stochastic matrix)——即每行、每列的和都恰好为 1。经过约 20 次(由 hc_sinkhorn_iters 控制)迭代后,4 份通道之间的信息流达到一种"进出平衡"的稳定态:没有哪一条通道被系统性放大或压制。

这套算法在 GPU 上用 TileLang 实现为自定义 kernel hc_split_sinkhorn_kernel,并封装成 hc_split_sinkhorn 供 hc_pre 调用。参数 hc_sinkhorn_iters 与数值稳定项 hc_eps 都来自 config.json("hc_eps": 1e-06)。

为什么需要它? 没有 Sinkhorn,comb 可能出现"某行权重全挤在一份上"的情况,导致信息在某几条通道里反复自我增强、其余通道逐渐失效。Sinkhorn 的行列归一化保证了 4 份隐状态长期均衡地参与计算,这也是"Manifold-Constrained(流形约束)Hyper-Connections"中"约束"二字的体现。

输出头:4 份如何再聚合回 1 份?

模型最后的 LM Head 之前,还要把 4 份隐状态再一次聚合回 1 份,再算 logits。ParallelHead.hc_head 复用了同样的机制:用 sigmoid(mixes·scale + base) + eps 得到一组 pre 权重,加权求和成 1 份,最后过 RMSNorm 和词表投影。

实现见 hc_head。值得注意的是:MTP 草稿头(投机解码用的 3 层 draft head)也继承了这套 HC 结构,见 MTPBlock——这让目标模型与草稿头共享一致的"4 份隐状态"表示,避免量化配置错配。

参数速查表

配置项 默认值 含义 出处
hc_mult 4 隐状态并行副本数("4 份") config.json#L68
hc_sinkhorn_iters 20 Sinkhorn 交替归一化迭代次数 config.json#L69
hc_eps 1e-06 归一化防零除 / 数值稳定项 config.json#L67
mix_hc 24 每次混合计算的系数向量长度 = (2+4)×4 model.py#L663

小结

  • Hyper-Connections 把单条残差链扩展成 4 条可互相调度的通道(hc_mult = 4)。
  • 每个子层用 hc_pre(读出)+ hc_post(写入 + 组合)完成 4 份隐状态的动态混合。
  • Sinkhorn 算法通过对 comb 组合矩阵做 20 次行列交替归一化,使其逼近双随机矩阵,保证 4 份通道长期均衡,这就是"流形约束"的关键。
  • 从词嵌入复制到输出头聚合,整条路径始终保持 4 份并行,并与 DSpark 投机解码草稿头共享同一表示,实现单 checkpoint 内 target + draft 一致量化。

想亲手验证?仓库提供了推理代码:参考 inference/README.md 用 convert.py 转换权重、generate.py 启动交互对话即可在本地跑起来。

登录后查看全文
DeepSeek-V4-Flash-nvfp4-DSpark