AREX-2基准评测全解读:对比GPT-5.6、Claude Opus与Kimi-K3(Frontier-CS/BrowseComp/HLE/GAIA逐项拆解)

原创2026-10-19 18:45:581,881 阅读
文章标签:人工智能大模型AI Agent

AREX-2基准评测全解读:对比GPT-5.6、Claude Opus与Kimi-K3(Frontier-CS/BrowseComp/HLE/GAIA逐项拆解)

AREX-2 是智源研究院(BAAI)开源的 27B 参数长程自我改进 Agent 模型。本文对 AREX-2 的基准评测结果逐项拆解,将其与 GPT-5.6 Sol、Claude Opus 4.8、Kimi-K3 等旗舰模型在 Frontier-CS、MLE-Lite、BrowseComp、HLE、GAIA 五大基准上的得分做横向对比,帮助你在 10 分钟内看懂这份成绩单:它强在哪、弱在哪、值不值得你部署。

30秒读懂 AREX-2:它凭什么和万亿参数模型同台

先给结论:AREX-2 用 27B 的小参数体量,拿到了逼近闭源旗舰的基准评测成绩。它的核心卖点是"长程自我改进"(Long-horizon Self-Improvement):

  • 🧠 架构:基于 Qwen3.8 体系的稠密多模态模型(64 层,混合线性注意力 + 全注意力结构),支持图文视频输入
  • 📏 上下文:262,144 tokens(约 26 万),足以装下超长文档与多轮对话历史
  • 🔄 核心机制:多轮测试时迭代——提出方案 → 测量得分 → 反思日志与错误 → 修订再试,把"额外思考时间"变成真实的分数提升
  • 🎯 训练配方:在机器学习工程和算法编程这类有可验证反馈的任务上训练自我改进能力,再迁移到深度研究场景(官方结果即按此论文协议产出,arXiv:2609.38288)

模型权重以 11 个分片存放(model-00001-of-00011.safetensors ~ model-00011-of-00011.safetensors),完整权重索引见 model.safetensors.index.json;架构细节(注意力类型、262K 上下文、视觉编码器配置)都写在 config.json 中。

AREX-2 基准评测总览:一张表看懂 6 项跑分

先看总成绩单(数据来自仓库 README.md 的评测章节):

基准 考察能力 AREX-2(27B) 同场最强对手
Frontier-CS(188 题 Agent Track) 算法编程 70.7 GPT-5.6 Sol:76.4
MLE-Lite(Any Medal,3 种子均值) 机器学习工程 81.8 🏆 全场第一 Naive-N0.5-Flash:73.7
BrowseComp 深度信息检索 84.0 Kimi-K3:91.2
HLE(纯文本子集) 专家级推理 52.6 Claude Fable 5:64.5(全集*)
GAIA 通用智能体推理 92.2 XYZ-Aquila-mini:97.1
DeepSearchQA 深度研究问答 93.8 Kimi-K3:95.0

一句话总结:MLE-Lite 登顶、GAIA 领先闭源旗舰、编程逼近第一梯队、HLE 是相对短板。

Frontier-CS 编程基准拆解:27B 模型离 GPT-5.6 还差多少

Frontier-CS 是 188 道题的 Agent Track,考察模型在真实编程任务中的端到端能力,可视为"算法编程硬实力"的标尺。

模型 参数量 Frontier-CS
GPT-5.6 Sol 闭源 76.4
Claude Opus 4.8 闭源 74.5
GPT-5.5 闭源 72.1
AREX-2 27B 70.7
Kimi-K2.7-Code 1T 54.7
GLM-5.3-Flash 320B 50.4
DeepSeek-V4-Pro 1.6T 44.7

三个关键观察:

  1. 对闭源旗舰只差一个身位:70.7 vs GPT-5.6 Sol 的 76.4(-5.7)、vs Claude Opus 4.8 的 74.5(-3.8)。对新手来说,这意味着"开源权重就能跑出来的编程能力"已经非常接近花钱调 API 的旗舰水平。
  2. 开源阵营断层领先:Kimi-K3 在本项没有公布成绩,其余开源模型最高的是 Kimi-K2.7-Code(54.7),AREX-2 以 27B 领先了 16 分,比 1.6T 的 DeepSeek-V4-Pro 还高 26 分。
  3. 参数效率惊人:70.7 分来自 27B,而对手动辄 1T 起步——部署成本(单卡/少卡可推理)与闭源 API 相比是另一重"性价比"。

MLE-Lite 机器学习工程拆解:AREX-2 唯一全场第一的基准

MLE-Lite 考察"给定数据,做出能打比赛的模型"这一机器学习工程全流程能力,采用 Any Medal(拿到任意名次奖牌)指标,取 3 个随机种子的均值以消除波动。

模型 参数量 MLE-Lite
AREX-2 27B 81.8 🥇
Naive-N0.5-Flash 309B 73.7
GPT-5.6 Sol 闭源 72.7
Kimi-K3 2.8T 72.7
Frontis-MA1-35B 35B 71.2
GPT-5.5 闭源 68.2
Kimi-K2.6 1T 66.7
Claude Opus 4.8 闭源 63.6

这是整份成绩单里最有说服力的一行:

  • 🥇 81.8 分,全场最高,领先第二名 Naive-N0.5-Flash 超过 8 分
  • 领先 GPT-5.6 Sol 与 Kimi-K3(均为 72.7)整整 9.1 分
  • 领先 Claude Opus 4.8 多达 18.2 分

为什么能赢?答案就在它的训练方式:AREX-2 专门在"有可验证反馈的机器学习任务"上学会读日志、看指标、反思修订。比赛式 ML 恰好是"跑一版→看分数→改代码"的循环,自我改进能力在这里被完全放大。如果你做 Kaggle 式建模、自动调参、特征工程自动化,这个基准第一含金量很高。

BrowseComp 深度检索拆解:对比 Kimi-K3 与 GPT-5.6 的差距有多大

BrowseComp 考察模型在海量网页中多轮检索、交叉验证、最终给出正确答案的能力,是深度研究(Deep Research)类模型的核心考场。

模型 参数量 BrowseComp
Kimi-K3 2.8T 91.2
GPT-5.6 Sol 闭源 90.4
Claude Fable 5 闭源 88.0
Gemini-3.1-Pro 闭源 85.9
AREX-2 27B 84.0
Claude Opus 4.8 闭源 84.3
GPT-5.5 闭源 84.4

逐项解读:

  1. 与 Kimi-K3、GPT-5.6 差距可控:84.0 vs 91.2(-7.2)、vs 90.4(-6.4),落后第一梯队但不在同一"量级"之外。
  2. 与 Claude Opus 4.8、GPT-5.5 基本打平:84.0 对 84.3 / 84.4,差距在评测噪声范围内。
  3. 开源 27B 档位的天花板:同场开源模型中 397B 的 Iris-pro 为 88.6,27B 的 AREX-2 只低 4.6 分。

更值得注意的一点:AREX-2 没有新增任何搜索轨迹数据,仅靠编程/ML 任务上学会的自我改进行为,就把深度研究分数顶到了 84 分——这是"跨域迁移"的直接证据,也是它区别于普通 Deep Research 模型的看点。

HLE 专家级推理拆解:52.6 分说明了什么

HLE(Humanity's Last Exam)由跨学科专家题组成,是区分"通用强"与"真正专家级"的分水岭。

模型 HLE 备注
Claude Fable 5 64.5* 全集(*)
GPT-5.6 Sol 58.0* 全集(*)
Claude Opus 4.8 57.9* 全集(*)
Kimi-K3 56.0* 全集(*)
AREX-2 52.6 纯文本子集
GPT-5.5 52.2* 全集(*)
AREX-Base(122B 基座) 52.4 纯文本子集

两个必须说的公道话:

  • ⚠️ 口径不同,不宜直接横比:带 * 的分数来自 HLE 全集,AREX-2 的 52.6 来自纯文本子集。可比口径下,它与 GPT-5.5 的 52.2* 几乎持平,说明真实差距小于表面数字。
  • 📉 这是 AREX-2 的相对短板:对比自家 122B 的 AREX-Base(52.4),自我改进训练只带来 +0.2 的提升——说明长程反思机制对"单题硬推理"帮助有限,收益主要体现在需要多轮迭代的任务上(编程、ML、检索)。

GAIA 通用智能体推理拆解:92.2 分为什么值得关注

GAIA 模拟真实世界的多步骤任务:调用工具、浏览网页、处理文件、综合推理后给出最终答案,是"智能体综合素养"的通用考卷。

模型 参数量 GAIA
XYZ-Aquila-mini 35B 97.1
Agents-A1 35B 96.0
AREX-2 27B 92.2
GPT-5.5 闭源 87.4
Gemini-3.1-Pro 闭源 80.6
Kimi-K2.6 1T 80.6
AREX-Base 122B 85.4

拆解结论:

  • ✅ 反超闭源旗舰:比 GPT-5.5 高 4.8 分,比 Gemini-3.1-Pro 高 11.6 分。
  • ✅ 小模型档位第一:比分数高的只有两个 35B 小模型;在"闭源旗舰 + 1T 级开源"混战场里,27B 拿下 92.2 属于越级表现。
  • ✅ 自我改进的正反馈:相比 122B 的 AREX-Base(85.4),缩小到 27B 的同时 GAIA 反而 +6.8——多轮"试错-反思"机制在长步骤任务里持续兑现。

一张表定论:AREX-2 vs GPT-5.6 vs Claude Opus vs Kimi-K3

基准 AREX-2(27B 开源) GPT-5.6 Sol Claude Opus 4.8 Kimi-K3(2.8T)
Frontier-CS 70.7 76.4 74.5 —
MLE-Lite 81.8 🥇 72.7 63.6 72.7
BrowseComp 84.0 90.4 84.3 91.2
HLE 52.6 58.0* 57.9* 56.0*
GAIA 92.2 — — —
DeepSearchQA 93.8 — 93.1 95.0

加粗为该基准对比组最高分(HLE 带 * 为全集口径)。总结成一句话:

编程看 GPT-5.6,深度检索看 Kimi-K3,机器学习工程与通用 Agent 推理看 AREX-2;而 Claude Opus 4.8 是全场"没有突出长板"的存在。

对选型的新手用户:

  • 🏢 要最省事的 SOTA → GPT-5.6 / Kimi-K3(API 调用即可)
  • 🏠 要私有化部署、数据不出内网 → AREX-2 是目前开源权重里的"六边形战士",Apache-2.0 协议(见 LICENSE)可商用
  • 🔬 做 ML 自动化、竞赛建模 → 直接选 AREX-2,81.8 的 MLE-Lite 就是为这个场景准备的

如何快速下载并运行 AREX-2:推理配置指南

运行环境只需三步(需支持 Qwen3.8 的较新版本 Transformers):

pip install -U torch transformers accelerate
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "BAAI/AREX-2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id, dtype=torch.bfloat16, device_map="auto"
)

messages = [{"role": "user", "content": "提出一个方案,并说明你将如何分多轮改进它。"}]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt",
).to(model.device)

with torch.inference_mode():
    outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:],
                       skip_special_tokens=True))

配置速查(新手常见疑问):

  • 💾 显存:27B @ bfloat16 权重约 54GB,双卡 A100/H100 或量化后单卡可跑
  • 📦 文件对照:11 个权重分片由 model.safetensors.index.json 索引;对话模板见 chat_template.jinja,分词与 262K 上下文设置见 tokenizer_config.json,视觉预处理参数见 processor_config.json
  • 💬 提示技巧:想充分发挥自我改进能力,在提示里明确"分多轮迭代、每轮先评估再修改",比一次性要求"给我最优解"效果更好

总结:AREX-2 基准评测的三个关键词

  1. MLE-Lite 第一(81.8)——机器学习工程是当前开源模型无人能敌的强项,源于"可验证反馈 + 多轮反思"的训练配方
  2. 越级竞争——27B 对标的是 GPT-5.6、Kimi-K3 这类旗舰:GAIA 92.2 反超闭源,Frontier-CS 仅差第一梯队 4~6 分
  3. 短板坦诚——HLE 专家级推理与第一梯队仍有差距,且自我改进机制对单题硬推理帮助有限

如果你需要一个"私有化部署、深度研究、编程与 ML 工程全能"的开源 Agent 底座,AREX-2 的这份基准评测成绩单,足以说明它是 2026 年开源权重里最值得评估的 27B 模型之一。

登录后查看全文
AREX-2