拆解AREX-2架构:混合线性注意力、MTP与27B小模型性能爆款的秘密

原创2026-10-19 09:09:392,001 阅读
文章标签:人工智能大模型AI Agent

拆解AREX-2架构:混合线性注意力、MTP与27B小模型性能爆款的秘密

AREX-2 是智源研究院(BAAI)开源的 27B 长程自改进智能体模型。它用混合线性注意力 + MTP(多 token 预测)的架构设计,让一个 27B 小模型在编程、机器学习工程和深度研究任务上打平甚至超越万亿参数级大模型。本文带你从 config.json 和权重索引逐层拆解 AREX-2 的架构秘密 🧩。

一、AREX-2 是什么:27B 参数,却打出"准旗舰"成绩

AREX-2 的定位很明确:长程自改进(Long-Horizon Self-Improvement)。它不是"一次作答",而是学会在测试时多轮迭代——提出方案 → 测量 → 反思 → 修订,把额外的推理轮次真正转化为解的质量提升。

核心规格一览:

项目 数值
参数规模 27B(Dense 稠密架构,Qwen3.8 兼容)
上下文长度 262,144 tokens(256K)
模态 文本 + 图像 + 视频(多模态)
精度 bfloat16,约 55GB(11 个 safetensors 分片)
许可证 Apache-2.0

官方 README.md 中的成绩足以说明"小模型性能爆款"并非虚言:

基准 AREX-2 (27B) 同档/更强模型参考
Frontier-CS(算法编程) 70.7 GPT-5.6 Sol(闭源)76.4
MLE-Lite(机器学习工程) 81.8 Naive-N0.5-Flash(309B)73.7
GAIA(智能体推理) 92.2 Kimi-K2.6(1T)80.6
DeepSearchQA(深度研究) 93.8 Claude Opus 4.8 93.1

一个 27B 稠密模型,MLE-Lite 超过 309B 模型,GAIA 超越 1T 级 MoE 模型——架构选择是答案的一半。

二、混合线性注意力:每 4 层才用 1 层全注意力

打开 config.json 的 text_config.layer_types,你会看到 64 层 Transformer 的排布非常有规律:

linear_attention, linear_attention, linear_attention, full_attention,
linear_attention, linear_attention, linear_attention, full_attention, ...

配合 full_attention_interval: 4,即 64 层中 48 层用线性注意力,仅 16 层用标准全注意力(每 4 层 1 次)。这正是当下"线性注意力混合架构"的代表性设计。

2.1 线性注意力层里有什么?

查看 model.safetensors.index.json 中任一 linear_attn 层的权重命名:

  • in_proj_qkv / in_proj_z / in_proj_b / in_proj_a:门控线性注意力的输入投影
  • conv1d:短卷积(linear_conv_kernel_dim: 4)
  • dt_bias、A_log:状态空间式衰减参数,且 mamba_ssm_dtype 单独用 float32 保证稳定性

线性注意力的核心优势:KV 缓存不再随序列长度线性膨胀。在 256K 上下文的长程任务里,显存占用和长序列解码速度都大幅优于纯全注意力结构——这是 AREX-2 能"扛得住多轮长程迭代"的硬件级前提。

2.2 全注意力层保留了哪些细节?

16 层全注意力层走 GQA 路线:24 个 Q 头、仅 4 个 KV 头(num_key_value_heads: 4),head_dim 256,并开启 attn_output_gate(swish 输出门控)。位置编码采用部分旋转 RoPE(partial_rotary_factor: 0.25)+ 多模态 MRoPE(mrope_section: [11, 11, 10]),让图像/视频 token 与文本 token 共享统一的位置感知,rope_theta 高达 10,000,000 以适配超长上下文。

一句话总结:48 层线性注意力省显存、保速度,16 层全注意力守精度,用 1/4 的全注意力成本换来了 256K 长上下文的实用化。

三、MTP 多 token 预测:推理提速的隐藏引擎

config.json 中还有两个不起眼的字段:

"mtp_num_hidden_layers": 1,
"mtp_use_dedicated_embeddings": false

这是 MTP(Multi-Token Prediction,多 token 预测) 配置:模型额外带一个 MTP 层,且与主模型共享词嵌入(248,320 词表,不额外增加嵌入参数)。

MTP 带来两个实际收益:

  1. 训练侧:预测"下一个 token 之后的 token"作为辅助目标,迫使模型学习更长远的依赖,与 AREX-2 的长程推理目标天然契合;
  2. 推理侧:单次前向可多产出 1 个 token(投机式加速),在多轮、长输出的智能体场景下显著摊薄耗时。

配合 attn_output_gate 与 use_cache: true,整条解码链路都是为"又长又快"设计的。

四、多模态视觉塔:27 层 ViT + 时间维度视频理解

AREX-2 的 vision_config 同样值得看一眼:

  • 27 层视觉编码器,hidden_size: 1152,输出投影到 5120 维与语言塔对齐
  • patch_size: 16、spatial_merge_size: 2:空间 2×2 合并,压缩视觉 token 数量
  • temporal_patch_size: 2:按时间维度打包视频帧,原生支持视频输入

processor_config.json 显示处理器为 Qwen3VLProcessor,视频按 2fps 采样、最多 768 帧;chat_template.jinja 中则为图像/视频定义了 Picture N / Video N 的编号占位机制——深度研究场景中"边看图表边搜索"就靠它。

五、训练配方:可验证反馈如何"教"小模型自我改进

架构只是地基,AREX-2 的差异化来自训练数据策略:

  • 算法编程 + 机器学习工程任务:这类任务有可验证反馈(跑测试、看得分、读报错),模型能真实体验"measure → reflect → revise"闭环;
  • 叠加既有 deep-research 数据:学到的自改进行为可以零样本迁移到深度研究,不需要新增搜索轨迹;
  • chat_template.jinja 内置 reasoning_effort 档位(xhigh / medium / low,默认 xhigh),同一模型可按任务难度切换思考强度,兼顾效果与成本。

这套"先在有明确反馈的环境里练,再迁移到开放任务"的路线,是 27B 小模型能逼近旗舰级智能体的关键。

六、快速上手:AREX-2 推理部署指南

6.1 环境安装

pip install -U torch transformers accelerate

6.2 加载与生成

import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "BAAI/AREX-2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id, dtype=torch.bfloat16, device_map="auto"
)

6.3 硬件预算参考

  • 权重共 11 个分片(model-00001-of-00011.safetensors 等),bf16 下约 55GB,device_map="auto" 多卡自动分片;
  • 单卡 80GB(A100/H100)即可整体装下;双卡 24-48GB 级别也可跑通,显存紧张时可用量化版本。

七、仓库文件导读:架构线索都在这些地方

文件 看什么
config.json 64 层 layer_types 排布、MTP 配置、MRoPE 参数
model.safetensors.index.json 每层的 linear_attn / self_attn / mlp 权重清单
chat_template.jinja 工具调用格式、reasoning_effort 档位、图片视频占位
processor_config.json 图像/视频处理器参数(patch、帧率、合并策略)
preprocessor_config.json / tokenizer.json 视觉预处理与 248K 词表分词器
LICENSE Apache-2.0 商用条款

八、总结:为什么 AREX-2 值得研究

  • 🏗️ 架构上:48 层线性注意力 + 16 层全注意力的混合结构,让 27B 模型轻松驾驭 256K 长上下文,推理显存友好;
  • ⚡ MTP 加持:共享嵌入的 1 层 MTP 同时优化训练目标与推理速度;
  • 🧠 训练上:用可验证反馈任务教会模型"多轮自我改进",并成功迁移到深度研究。

如果你想复刻或研究长程智能体,AREX-2 的 README.md 与上述配置文件就是一份完整的架构说明书——这正是"27B 小模型性能爆款"的全部秘密。

登录后查看全文
AREX-2