拆解WeMM-JEV混合注意力架构:48层线性注意力+16层全注意力如何协同降成本

原创2026-11-14 10:15:211,723 阅读
文章标签:人工智能大模型多模态本地部署模型推理服务

拆解WeMM-JEV混合注意力架构:48层线性注意力+16层全注意力如何协同降成本

WeMM-JEV 是一个 27B 多模态决策模型,其基座采用了混合注意力架构:64 层解码器中 48 层为线性注意力(Gated DeltaNet),16 层为全注意力,按 3:1 比例交替排布。本文将用通俗语言拆解这两种注意力层各自解决什么问题、为什么必须搭配使用,以及它们在一次前向传播中如何协同工作。


为什么大模型需要"混合注意力"?

先理解痛点。传统 Transformer 的注意力机制(也就是大家常说的"全注意力")要计算每个 token 与序列中所有其他 token 的关联:

  • 计算量随序列长度呈平方级增长(O(n²));
  • KV Cache 显存随长度线性增长,长文本推理时显存开销巨大。

2024 年以来的主流方案(如 Mamba、DeltaNet 系列)给出了另一条路:线性注意力 / SSM 状态递推——用一个固定大小的"状态矩阵"滚动压缩历史,计算与显存开销近似常数(O(n) 甚至 O(1) 状态)。但纯线性模型在精确检索长距离细节上偏弱。

WeMM-JEV 的选择是:以低成本的线性注意力为主力,按固定间隔插入全注意力层做"精确校准"。这正是当前高性能基座(如 Qwen3.5 系列)的标志性设计。

64 层混合布局:每 4 层藏一个"全注意力"

打开 config.json,text_config.layer_types 字段逐层声明了 64 层的类型,规律非常清晰:

项目 取值 含义
num_hidden_layers 64 解码器总层数
full_attention_interval 4 每 4 层出现 1 次全注意力
linear_attention 层数 48 第 0、1、2 层,5、6、7-1 层……
full_attention 层数 16 第 3、7、11、…、63 层

在权重索引 model.safetensors.index.json 中可以验证:全注意力层恰好位于 language_model.layers.[3, 7, 11, …, 63].self_attn,其余 48 层均为 .linear_attn。

层号:  0  1  2  3  4  5  6  7  8 …
类型:  L  L  L  F  L  L  L  F  L …   (L=线性注意力, F=全注意力)

💡 这种"3 线性 + 1 全注意力"的周期结构由 full_attention_interval: 4 一句话定义,权重命名与配置严格对应,方便推理框架做层类型特化优化。

线性注意力层:常数开销的"滚动笔记"

WeMM-JEV 的线性注意力具体实现是 Gated DeltaNet(带门控的 Delta 规则),配置项见 config.json:

参数 值 直观理解
linear_num_key_heads 16 状态记忆的 key 头数
linear_num_value_heads 48 value 头数(GQA 式 3:1 复用)
linear_key/value_head_dim 128 单头维度
linear_conv_kernel_dim 4 前置 4-tap 因果短卷积,先平滑局部细节
mamba_ssm_dtype float32 状态递推用 FP32 累加,防长序列漂移

它的工作方式可以类比"做会议记录":

  1. 短卷积先对输入做局部整理(4 个 tap 的因果卷积 + SiLU 激活);
  2. 每个 token 到来时,beta(写入门)决定"这条信息要多强地写入笔记",g(衰减门)决定"旧笔记遗忘多少";
  3. 固定大小的状态矩阵更新完毕,输出即为该层表示——无论输入多长,状态大小恒为 16 头 × 128 维;
  4. 最后经 in_proj_z 门控的 RMSNorm(gated_rmsnorm)输出。

从 d3_kernels.py 的 gdn_prep 内核可以看到完整的准备链路:in_proj_qkv 拆分出 q/k/v,in_proj_b 经 sigmoid 得 beta,in_proj_a 结合 A_log、dt_bias 算出衰减 g——全部由融合 Triton 内核一次完成,零冗余内存往返。

代价与收益:线性注意力不再逐 token 回看原文,而是回看"压缩笔记"。日常语义聚合它又快又省,但"帮我找回第 3 段某个专有名词"这类精确检索会打折扣——这正是需要全注意力层的原因。

全注意力层:16 个"精确检索器"的独门配置

每隔 3 层插入的全注意力层并非普通注意力,config.json 里藏着几处讲究:

  • head_dim = 256:单头宽度是常见值(128)的两倍,提升单次注意力计算的表达容量;
  • GQA 6:1:24 个 query 头共享 4 个 KV 头(num_key_value_heads: 4),KV Cache 只有全 MHA 的 1/6;
  • q/k RMSNorm + 部分 RoPE:partial_rotary_factor: 0.25 只对 256 维中的 64 维施加旋转位置编码,兼顾位置感知与长程外推;
  • 注意力输出门:attn_output_gate: true,输出再乘一个 sigmoid(gate)(见 d3_kernels.py 的 sigmoid_gate),让模型可逐维"节流"注意力信号;
  • 非因果(双向)模式:这是 WeMM-JEV 作为决策模型的关键差异——d3_runtime.py 中 attention_mode: noncausal_full_attention 让全注意力层在打分时看到整段 prompt(类似困惑度模型的双向打分方式),而 Gated DeltaNet 层保持因果递推。

也就是说,16 个全注意力层既压住了 KV Cache 总量,又在关键深度上提供了一次"全文可见"的精确校准机会。

一次前向传播:两种层如何协同?

调度逻辑就在 d3_fast.py 的循环里,每层按 layer_types 分派:

for layer, kind in zip(self.layers, self.kinds):
    hidden = layer(
        hidden,
        attention_mask=full if kind == "full_attention" else linear_mask,
        ...
    )

信息流可以这样理解:

  1. 线性层(×48) 沿序列滚动更新状态,负责"低成本的语义压缩",KV Cache 为零;
  2. 全注意力层(×16) 周期性"展开原卷",做双向精确注意力,修正线性递推可能累积的漂移;
  3. 两类层的残差流汇入同一条 hidden state,MLP(intermediate_size: 17408 的 SiLU 门控 FFN)逐层继续加工;
  4. 最后一个真实 token 的输出经 readout.safetensors 的 255 路答案码本读出(FP32 softmax,见 decision_config.json),单次前向即得到每个选项的概率。

这种"线性为主、全注意力定标"的分工,让 27B 模型在 262144 token 上下文上限下,推理显存与延迟主要由线性层决定,而非 KV Cache。

工程侧:为混合架构做的加速与封装

围绕这套混合架构,仓库还提供了完整的推理封装:

  • d3_kernels.py:6 个融合 Triton 内核(add_rmsnorm、silu_mul、gdn_prep、gated_rmsnorm、attn_prep、sigmoid_gate),在 ROCm gfx942 上逐位复刻 BF16 eager 数值;
  • d3_fast.py:ROCm 快速路径,按层类型预取参数并录制 HIP 图回放,D3_FAST=0 可一键回退普通路径;
  • d3_runtime.py:运行时核心,统一管理非因果/因果两种注意力模式、批量左填充、FP32 读出;
  • inference/ 包:D3Engine 一站式引擎(文本/多图/视频)+ HTTP 服务,用法见 inference/README.md;
  • pipeline_d3.py:Transformers pipeline("decision", ...) 定制管线,一行 model.system_one(state=..., questions={...}) 即返回概率化答案。

小结:混合注意力给用户的三个实际收益

收益 来源
长文本推理更快、显存更省 48 层线性注意力的常数状态替代 O(n) KV Cache
长距离细节不丢失 每 4 层 1 次全注意力"全文校准" + 双向打分
一次前向出概率答案 混合基座 + 255 路答案码本读出,无需自回归解码

一句话总结:WeMM-JEV 用 full_attention_interval: 4 的混合注意力布局,把"便宜的线性记忆"和"昂贵的精确检索"按 3:1 编排进同一个 64 层基座——这正是当前多模态决策类大模型兼顾速度、显存与精度的代表性架构。

登录后查看全文
WeMM-JEV