拆解WeMM-JEV混合注意力架构:48层线性注意力+16层全注意力如何协同降成本
拆解WeMM-JEV混合注意力架构:48层线性注意力+16层全注意力如何协同降成本
WeMM-JEV 是一个 27B 多模态决策模型,其基座采用了混合注意力架构:64 层解码器中 48 层为线性注意力(Gated DeltaNet),16 层为全注意力,按 3:1 比例交替排布。本文将用通俗语言拆解这两种注意力层各自解决什么问题、为什么必须搭配使用,以及它们在一次前向传播中如何协同工作。
为什么大模型需要"混合注意力"?
先理解痛点。传统 Transformer 的注意力机制(也就是大家常说的"全注意力")要计算每个 token 与序列中所有其他 token 的关联:
- 计算量随序列长度呈平方级增长(O(n²));
- KV Cache 显存随长度线性增长,长文本推理时显存开销巨大。
2024 年以来的主流方案(如 Mamba、DeltaNet 系列)给出了另一条路:线性注意力 / SSM 状态递推——用一个固定大小的"状态矩阵"滚动压缩历史,计算与显存开销近似常数(O(n) 甚至 O(1) 状态)。但纯线性模型在精确检索长距离细节上偏弱。
WeMM-JEV 的选择是:以低成本的线性注意力为主力,按固定间隔插入全注意力层做"精确校准"。这正是当前高性能基座(如 Qwen3.5 系列)的标志性设计。
64 层混合布局:每 4 层藏一个"全注意力"
打开 config.json,text_config.layer_types 字段逐层声明了 64 层的类型,规律非常清晰:
| 项目 | 取值 | 含义 |
|---|---|---|
num_hidden_layers |
64 | 解码器总层数 |
full_attention_interval |
4 | 每 4 层出现 1 次全注意力 |
linear_attention 层数 |
48 | 第 0、1、2 层,5、6、7-1 层…… |
full_attention 层数 |
16 | 第 3、7、11、…、63 层 |
在权重索引 model.safetensors.index.json 中可以验证:全注意力层恰好位于 language_model.layers.[3, 7, 11, …, 63].self_attn,其余 48 层均为 .linear_attn。
层号: 0 1 2 3 4 5 6 7 8 …
类型: L L L F L L L F L … (L=线性注意力, F=全注意力)
💡 这种"3 线性 + 1 全注意力"的周期结构由
full_attention_interval: 4一句话定义,权重命名与配置严格对应,方便推理框架做层类型特化优化。
线性注意力层:常数开销的"滚动笔记"
WeMM-JEV 的线性注意力具体实现是 Gated DeltaNet(带门控的 Delta 规则),配置项见 config.json:
| 参数 | 值 | 直观理解 |
|---|---|---|
linear_num_key_heads |
16 | 状态记忆的 key 头数 |
linear_num_value_heads |
48 | value 头数(GQA 式 3:1 复用) |
linear_key/value_head_dim |
128 | 单头维度 |
linear_conv_kernel_dim |
4 | 前置 4-tap 因果短卷积,先平滑局部细节 |
mamba_ssm_dtype |
float32 | 状态递推用 FP32 累加,防长序列漂移 |
它的工作方式可以类比"做会议记录":
- 短卷积先对输入做局部整理(4 个 tap 的因果卷积 + SiLU 激活);
- 每个 token 到来时,
beta(写入门)决定"这条信息要多强地写入笔记",g(衰减门)决定"旧笔记遗忘多少"; - 固定大小的状态矩阵更新完毕,输出即为该层表示——无论输入多长,状态大小恒为 16 头 × 128 维;
- 最后经
in_proj_z门控的 RMSNorm(gated_rmsnorm)输出。
从 d3_kernels.py 的 gdn_prep 内核可以看到完整的准备链路:in_proj_qkv 拆分出 q/k/v,in_proj_b 经 sigmoid 得 beta,in_proj_a 结合 A_log、dt_bias 算出衰减 g——全部由融合 Triton 内核一次完成,零冗余内存往返。
代价与收益:线性注意力不再逐 token 回看原文,而是回看"压缩笔记"。日常语义聚合它又快又省,但"帮我找回第 3 段某个专有名词"这类精确检索会打折扣——这正是需要全注意力层的原因。
全注意力层:16 个"精确检索器"的独门配置
每隔 3 层插入的全注意力层并非普通注意力,config.json 里藏着几处讲究:
- head_dim = 256:单头宽度是常见值(128)的两倍,提升单次注意力计算的表达容量;
- GQA 6:1:24 个 query 头共享 4 个 KV 头(
num_key_value_heads: 4),KV Cache 只有全 MHA 的 1/6; - q/k RMSNorm + 部分 RoPE:
partial_rotary_factor: 0.25只对 256 维中的 64 维施加旋转位置编码,兼顾位置感知与长程外推; - 注意力输出门:
attn_output_gate: true,输出再乘一个sigmoid(gate)(见 d3_kernels.py 的sigmoid_gate),让模型可逐维"节流"注意力信号; - 非因果(双向)模式:这是 WeMM-JEV 作为决策模型的关键差异——d3_runtime.py 中
attention_mode: noncausal_full_attention让全注意力层在打分时看到整段 prompt(类似困惑度模型的双向打分方式),而 Gated DeltaNet 层保持因果递推。
也就是说,16 个全注意力层既压住了 KV Cache 总量,又在关键深度上提供了一次"全文可见"的精确校准机会。
一次前向传播:两种层如何协同?
调度逻辑就在 d3_fast.py 的循环里,每层按 layer_types 分派:
for layer, kind in zip(self.layers, self.kinds):
hidden = layer(
hidden,
attention_mask=full if kind == "full_attention" else linear_mask,
...
)
信息流可以这样理解:
- 线性层(×48) 沿序列滚动更新状态,负责"低成本的语义压缩",KV Cache 为零;
- 全注意力层(×16) 周期性"展开原卷",做双向精确注意力,修正线性递推可能累积的漂移;
- 两类层的残差流汇入同一条 hidden state,MLP(
intermediate_size: 17408的 SiLU 门控 FFN)逐层继续加工; - 最后一个真实 token 的输出经 readout.safetensors 的 255 路答案码本读出(FP32 softmax,见 decision_config.json),单次前向即得到每个选项的概率。
这种"线性为主、全注意力定标"的分工,让 27B 模型在 262144 token 上下文上限下,推理显存与延迟主要由线性层决定,而非 KV Cache。
工程侧:为混合架构做的加速与封装
围绕这套混合架构,仓库还提供了完整的推理封装:
- d3_kernels.py:6 个融合 Triton 内核(
add_rmsnorm、silu_mul、gdn_prep、gated_rmsnorm、attn_prep、sigmoid_gate),在 ROCm gfx942 上逐位复刻 BF16 eager 数值; - d3_fast.py:ROCm 快速路径,按层类型预取参数并录制 HIP 图回放,
D3_FAST=0可一键回退普通路径; - d3_runtime.py:运行时核心,统一管理非因果/因果两种注意力模式、批量左填充、FP32 读出;
- inference/ 包:
D3Engine一站式引擎(文本/多图/视频)+ HTTP 服务,用法见 inference/README.md; - pipeline_d3.py:Transformers
pipeline("decision", ...)定制管线,一行model.system_one(state=..., questions={...})即返回概率化答案。
小结:混合注意力给用户的三个实际收益
| 收益 | 来源 |
|---|---|
| 长文本推理更快、显存更省 | 48 层线性注意力的常数状态替代 O(n) KV Cache |
| 长距离细节不丢失 | 每 4 层 1 次全注意力"全文校准" + 双向打分 |
| 一次前向出概率答案 | 混合基座 + 255 路答案码本读出,无需自回归解码 |
一句话总结:WeMM-JEV 用 full_attention_interval: 4 的混合注意力布局,把"便宜的线性记忆"和"昂贵的精确检索"按 3:1 编排进同一个 64 层基座——这正是当前多模态决策类大模型兼顾速度、显存与精度的代表性架构。