拆解AREX-2架构:混合线性注意力、MTP与27B小模型性能爆款的秘密
拆解AREX-2架构:混合线性注意力、MTP与27B小模型性能爆款的秘密
AREX-2 是智源研究院(BAAI)开源的 27B 长程自改进智能体模型。它用混合线性注意力 + MTP(多 token 预测)的架构设计,让一个 27B 小模型在编程、机器学习工程和深度研究任务上打平甚至超越万亿参数级大模型。本文带你从 config.json 和权重索引逐层拆解 AREX-2 的架构秘密 🧩。
一、AREX-2 是什么:27B 参数,却打出"准旗舰"成绩
AREX-2 的定位很明确:长程自改进(Long-Horizon Self-Improvement)。它不是"一次作答",而是学会在测试时多轮迭代——提出方案 → 测量 → 反思 → 修订,把额外的推理轮次真正转化为解的质量提升。
核心规格一览:
| 项目 | 数值 |
|---|---|
| 参数规模 | 27B(Dense 稠密架构,Qwen3.8 兼容) |
| 上下文长度 | 262,144 tokens(256K) |
| 模态 | 文本 + 图像 + 视频(多模态) |
| 精度 | bfloat16,约 55GB(11 个 safetensors 分片) |
| 许可证 | Apache-2.0 |
官方 README.md 中的成绩足以说明"小模型性能爆款"并非虚言:
| 基准 | AREX-2 (27B) | 同档/更强模型参考 |
|---|---|---|
| Frontier-CS(算法编程) | 70.7 | GPT-5.6 Sol(闭源)76.4 |
| MLE-Lite(机器学习工程) | 81.8 | Naive-N0.5-Flash(309B)73.7 |
| GAIA(智能体推理) | 92.2 | Kimi-K2.6(1T)80.6 |
| DeepSearchQA(深度研究) | 93.8 | Claude Opus 4.8 93.1 |
一个 27B 稠密模型,MLE-Lite 超过 309B 模型,GAIA 超越 1T 级 MoE 模型——架构选择是答案的一半。
二、混合线性注意力:每 4 层才用 1 层全注意力
打开 config.json 的 text_config.layer_types,你会看到 64 层 Transformer 的排布非常有规律:
linear_attention, linear_attention, linear_attention, full_attention,
linear_attention, linear_attention, linear_attention, full_attention, ...
配合 full_attention_interval: 4,即 64 层中 48 层用线性注意力,仅 16 层用标准全注意力(每 4 层 1 次)。这正是当下"线性注意力混合架构"的代表性设计。
2.1 线性注意力层里有什么?
查看 model.safetensors.index.json 中任一 linear_attn 层的权重命名:
in_proj_qkv/in_proj_z/in_proj_b/in_proj_a:门控线性注意力的输入投影conv1d:短卷积(linear_conv_kernel_dim: 4)dt_bias、A_log:状态空间式衰减参数,且mamba_ssm_dtype单独用 float32 保证稳定性
线性注意力的核心优势:KV 缓存不再随序列长度线性膨胀。在 256K 上下文的长程任务里,显存占用和长序列解码速度都大幅优于纯全注意力结构——这是 AREX-2 能"扛得住多轮长程迭代"的硬件级前提。
2.2 全注意力层保留了哪些细节?
16 层全注意力层走 GQA 路线:24 个 Q 头、仅 4 个 KV 头(num_key_value_heads: 4),head_dim 256,并开启 attn_output_gate(swish 输出门控)。位置编码采用部分旋转 RoPE(partial_rotary_factor: 0.25)+ 多模态 MRoPE(mrope_section: [11, 11, 10]),让图像/视频 token 与文本 token 共享统一的位置感知,rope_theta 高达 10,000,000 以适配超长上下文。
一句话总结:48 层线性注意力省显存、保速度,16 层全注意力守精度,用 1/4 的全注意力成本换来了 256K 长上下文的实用化。
三、MTP 多 token 预测:推理提速的隐藏引擎
config.json 中还有两个不起眼的字段:
"mtp_num_hidden_layers": 1,
"mtp_use_dedicated_embeddings": false
这是 MTP(Multi-Token Prediction,多 token 预测) 配置:模型额外带一个 MTP 层,且与主模型共享词嵌入(248,320 词表,不额外增加嵌入参数)。
MTP 带来两个实际收益:
- 训练侧:预测"下一个 token 之后的 token"作为辅助目标,迫使模型学习更长远的依赖,与 AREX-2 的长程推理目标天然契合;
- 推理侧:单次前向可多产出 1 个 token(投机式加速),在多轮、长输出的智能体场景下显著摊薄耗时。
配合 attn_output_gate 与 use_cache: true,整条解码链路都是为"又长又快"设计的。
四、多模态视觉塔:27 层 ViT + 时间维度视频理解
AREX-2 的 vision_config 同样值得看一眼:
- 27 层视觉编码器,
hidden_size: 1152,输出投影到 5120 维与语言塔对齐 patch_size: 16、spatial_merge_size: 2:空间 2×2 合并,压缩视觉 token 数量temporal_patch_size: 2:按时间维度打包视频帧,原生支持视频输入
processor_config.json 显示处理器为 Qwen3VLProcessor,视频按 2fps 采样、最多 768 帧;chat_template.jinja 中则为图像/视频定义了 Picture N / Video N 的编号占位机制——深度研究场景中"边看图表边搜索"就靠它。
五、训练配方:可验证反馈如何"教"小模型自我改进
架构只是地基,AREX-2 的差异化来自训练数据策略:
- 算法编程 + 机器学习工程任务:这类任务有可验证反馈(跑测试、看得分、读报错),模型能真实体验"measure → reflect → revise"闭环;
- 叠加既有 deep-research 数据:学到的自改进行为可以零样本迁移到深度研究,不需要新增搜索轨迹;
- chat_template.jinja 内置
reasoning_effort档位(xhigh/medium/low,默认 xhigh),同一模型可按任务难度切换思考强度,兼顾效果与成本。
这套"先在有明确反馈的环境里练,再迁移到开放任务"的路线,是 27B 小模型能逼近旗舰级智能体的关键。
六、快速上手:AREX-2 推理部署指南
6.1 环境安装
pip install -U torch transformers accelerate
6.2 加载与生成
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "BAAI/AREX-2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id, dtype=torch.bfloat16, device_map="auto"
)
6.3 硬件预算参考
- 权重共 11 个分片(model-00001-of-00011.safetensors 等),bf16 下约 55GB,
device_map="auto"多卡自动分片; - 单卡 80GB(A100/H100)即可整体装下;双卡 24-48GB 级别也可跑通,显存紧张时可用量化版本。
七、仓库文件导读:架构线索都在这些地方
| 文件 | 看什么 |
|---|---|
| config.json | 64 层 layer_types 排布、MTP 配置、MRoPE 参数 |
| model.safetensors.index.json | 每层的 linear_attn / self_attn / mlp 权重清单 |
| chat_template.jinja | 工具调用格式、reasoning_effort 档位、图片视频占位 |
| processor_config.json | 图像/视频处理器参数(patch、帧率、合并策略) |
| preprocessor_config.json / tokenizer.json | 视觉预处理与 248K 词表分词器 |
| LICENSE | Apache-2.0 商用条款 |
八、总结:为什么 AREX-2 值得研究
- 🏗️ 架构上:48 层线性注意力 + 16 层全注意力的混合结构,让 27B 模型轻松驾驭 256K 长上下文,推理显存友好;
- ⚡ MTP 加持:共享嵌入的 1 层 MTP 同时优化训练目标与推理速度;
- 🧠 训练上:用可验证反馈任务教会模型"多轮自我改进",并成功迁移到深度研究。
如果你想复刻或研究长程智能体,AREX-2 的 README.md 与上述配置文件就是一份完整的架构说明书——这正是"27B 小模型性能爆款"的全部秘密。