TrnRT上的GLM-5.3-Flash:KDA线性注意力、DSA稀疏注意力、mHC超连接与MoE逐一拆解

原创2026-11-11 20:15:041,870 阅读

TrnRT上的GLM-5.3-Flash:KDA线性注意力、DSA稀疏注意力、mHC超连接与MoE逐一拆解

TrnRT 是面向 AWS Trainium 的开源 LLM 推理引擎,由 RunAnywhere 打造,提供 OpenAI 兼容 API 与 1M token 上下文能力。它的首个受支持模型正是 GLM-5.3-Flash——一款 320B 参数、18B 激活的 MoE 模型。本文面向新手,逐一拆解 GLM-5.3-Flash 在 TrnRT 中的四大核心结构:KDA 线性注意力、DSA 稀疏注意力、mHC 超连接与 MoE 专家混合,并说明它们如何在一台 Trainium2 上跑出 3.57M tokens/min 的吞吐。

一、45 层架构总览:一张表看懂"混合配方" 🧩

GLM-5.3-Flash 的 45 层 decoder 并不是"一刀切"的注意力结构,而是四种机制的组合。仓库里有一份完整配置可以直接对照:GLM-5.3-Flash-config.json

组件 数量与位置 一句话解释
KDA 线性注意力 34 层 固定大小的"记忆矩阵",负责长程记忆
DSA 稀疏注意力 11 层,从第 3 层起每 4 层一个 只挑选 top 2048 个关键 KV,支撑超长上下文
mHC 超连接 贯穿全部 45 层 4 条残差流 + 流形约束混合
Dense FFN 第 0–2 层 普通稠密前馈网络
MoE FFN 第 3–44 层 288 个路由专家 + 1 个共享专家,每 token 激活 8 个

配置文件中几个关键参数一目了然(layer_types 字段完整列出了每层类型):

"hidden_size": 4096,
"num_hidden_layers": 45,
"index_topk": 2048,
"index_kpool": 4,
"n_routed_experts": 288,
"num_experts_per_tok": 8,
"max_position_embeddings": 1048576,
"mhc": true

二、KDA 线性注意力:固定大小的"记忆矩阵"

传统 softmax 注意力的 KV cache 会随上下文线性膨胀——1M token 意味着 1M 条 KV。KDA(Kimi Delta Attention)换了一个思路:每个注意力头只保留一块固定大小的 [128×128] fp32 状态矩阵,随每个 token 用"门控 delta 规则"增量更新:

状态更新:S_t = exp(g_t)·S_{t-1} + k_t·(β_t·(v_t − (exp(g_t)·S_{t-1})ᵀ·k_t))ᵀ 输出:o_t = S_tᵀ·q_t

通俗地说,它像一块"无限压缩"的便签纸:新信息不断改写便签内容,便签本身大小不变。模型在 GLM-5.3-Flash 中共用 34 个 KDA 层,每层 64 个头(每头 128 维),输入先过一层 kernel size 为 4 的短卷积。由于每 token 的计算是 O(1) 的矩阵更新,KDA 是 1M 上下文可行的第一块基石。

  • CPU 参考实现:linear_attn.py
  • 设备端解码形态:KDA shell 巨型核,把 mHC、RMSNorm、delta 规则更新与输出投影融合成一次调用:kda_shell.py

三、DSA 稀疏注意力:从 1M token 里只挑 2048 个 🎯

剩余 11 个注意力层用的是 DSA(DeepSeek Sparse Attention):不带 RoPE 的 MLA + 池化 lightning indexer,只在需要"精确查找"时才看全量上下文。

工作流程分四步:

  1. 池化:每 4 个连续 token 编成一个"池"(index_kpool = 4),池的 key 是池内 token key 的 softmax 加权平均;
  2. 打分:查询向量对每个候选池打分,保留 index_topk / kpool = 512 个最优池(即 2048 个 token),并始终包含自己所在的未完成池(tail);
  3. 精确选择:select_two_level() 用两级 top-k(先选子块、再块内选元素)保证与朴素 top-k 完全一致——连同分值的 tie 规则都逐位对齐,选择算法见 dsa_select.py;
  4. 注意力:只对被选中的池做 absorbed MLA 注意力。

两个巧妙设计值得新手注意:

  • 上下文 ≤ 2048 token 时,所有池都被选中,该层退化为精确的稠密注意力——短文本零损失;
  • 设备端每个 DSA 层上下文并行切成 8 份(每 rank 存 1/8 的 latent cache),且整个层(选择 + 合并 + 注意力 + FFN 前半)被融合进一个 NKI 核 dsa_satwfc.py,三次集合通信直接藏在核内部。

相关源码:dsa_long.py(长上下文路径)、dsa_topk.py(设备端精确 top-k)。

四、mHC 超连接:4 条残差流的"流形约束"混合 🧠

绝大多数模型每层只有 1 条残差流,GLM-5.3-Flash 则给每个 token 维护 4 条残差流(hc_mult = 4),由 mHC(manifold-constrained hyper-connections,流形约束超连接)在每个 block 前后做混合:

  • 进 block 前:从 4 条流算出 pre / post / comb 三组系数,用 pre = sigmoid(·) + ε 把 4 条流折叠成 block 输入;
  • 出 block 后:block 输出 y 按 post_n·y + Σ comb_mn·S_m 混合回 4 条流;
  • 流形约束:comb 经过 20 轮 Sinkhorn-Knopp 归一化变成双随机矩阵(hc_sinkhorn_iters = 20),数学上保证混合过程数值稳定、不放大梯度;
  • 最终 hidden state 取 4 条流的均值,再过模型 norm。

在解码路径上,mHC 的投影和 Sinkhorn 都被折进巨型核:那条 20 轮的串行 Sinkhorn 链被切段塞进 MoE 矩阵乘的等待缝隙里执行,不额外占用时间。源码见 hybrid.py(模型侧)与 mhc_front.py(融合核侧)。

五、MoE FFN:288 个专家,每 token 只激活 8 个 ⚙️

前 3 层是稠密 FFN(intermediate 12288),从第 3 层起全部切换为 MoE:

参数 取值 说明
路由专家数 288 n_routed_experts
每 token 激活 8 num_experts_per_tok,top-8 路由
共享专家 1 所有 token 都经过
路由方式 sigmoid + 选择偏置 非 softmax 路由,routed_scaling_factor = 2.5
专家中间维 2048 SwiGLU 激活钳制在 ±10

320B 总参数但每 token 只激活约 18B——这正是它能在一台 trn2.48xlarge(16 颗 Trainium2 芯片)上做到 3.57M tokens/min(约 $0.040/百万 token,spot 价格)的原因。工程侧更关键的是:XLA 下一个 MoE 半层要耗 ~198µs,占单步时间的 45%;TrnRT 把路由、top-8 选择、专家计算、FP8 反量化全部融进 FFN-half 巨型核 moe_half.py,一步 45 层只剩 79 次融合核调用。

六、在 Trainium2 上跑起来:新手速览 ⚡

想亲手试一下?三步即可(详细命令见 README.md 与 DEPLOY.md):

  1. 构建镜像:docker build -f docker/Dockerfile,基于 Neuron SDK 2.32 + Python 3.13;
  2. 离线编译:在任意 x86_64 主机上用 trnrt compile 五步(shapes → decisions → capture → compile → strip)生成编译缓存——服务机默认不编译任何东西;
  3. 启动服务:在 trn2.48xlarge 上 trnrt serve --model /model --port 8000,即可用任意 OpenAI 客户端调用,session_id 参数可把会话固定在持有前缀缓存的引擎上。

机器视角:一台机器跑 2 个引擎,每引擎在 32 个逻辑 NeuronCore(8 芯片 × LNC 2)上做张量并行,请求经会话亲和路由分发。架构全貌见 ARCHITECTURE.md,每个核的融合细节见 MEGAKERNELS.md。

七、小结:这套组合拳为什么有效 ✅

  • KDA 用固定状态解决"记不住"——1M 上下文的内存地基;
  • DSA 用稀疏选择解决"查不准"——精确检索按需付费;
  • mHC 用 4 流混合提升表达容量,Sinkhorn 约束保证稳定;
  • MoE 用 288 选 8 把激活成本压到 18B;
  • NKI 巨型核 把以上全部塞进 79 次融合调用,让 Trainium2 的带宽与算力都花在刀刃上。

对新手来说,理解这五层结构(模型 → 混合注意力 → 稀疏检索 → 超连接 → 专家路由,再到设备端融合)就是读懂 TrnRT 与 GLM-5.3-Flash 的完整地图。

登录后查看全文
trnrt