Agents-A1-4B性能评测全解读:GAIA 95.1%与BrowseComp 66.8如何达成

原创2026-10-21 14:16:481,129 阅读

Agents-A1-4B性能评测全解读:GAIA 95.1%与BrowseComp 66.8如何达成

Agents-A1-4B 是 InternScience 推出的 4B 参数级 agentic 模型,专注长时程搜索(Long-horizon Search)、工具调用、工程研究与指令跟随。它的性能评测数据相当亮眼:GAIA 95.1、BrowseComp 66.8、XBench-DS-2510 90.0、IFEval 94.8,多项成绩追平甚至超越更大的 MoE 模型。本文带你逐项解读这份 Agents-A1-4B 性能评测报告,并讲清楚高分背后的技术原因与落地部署要点。

4B 模型成绩速览:哪些基准拿了第一 🏆

先看核心分数(数据来自 README.md 的官方对比表,对比对象为同规模的 Qwen3.5-4B 与更大的 MoE 模型):

基准测试 Qwen3.5-4B Agents-A1-4B Qwen3.6 Nex-N2-mini Agents-A1 (35B)
BrowseComp 47.2 66.8 67.9 74.1 75.5
XBench-DS-2510 73.0 90.0 🥇 71.0 82.0 86.0
Seal0 31.5 45.8 38.7 49.6 56.4 🥇
GAIA 58.3 95.1 78.6 82.5 96.0 🥇
FrontierScience-Research 1.7 33.3 2.9 5.0 40.0 🥇
IFEval 89.8 94.8 🥇 91.3 88.4 94.8 🥇
VitaBench 22.0 40.3 🥇 35.6 23.0 38.8
MatTools 10.9 49.3 🥇 15.9 34.1 47.1

几个值得注意的点:

  • XA 级领先:在 XBench-DS-2510、IFEval、VitaBench、MatTools 上,4B 小模型直接拿到了表中最高分(🥇),超过了参数量大一个量级的 MoE 模型。
  • 接近旗舰:GAIA 上 35B 旗舰版为 96.0,4B 版为 95.1,仅差 0.9 分——小模型与旗舰之间的差距被大幅压缩。
  • 长时程搜索是强项:BrowseComp 66.8 相比同规模 Qwen3.5-4B 的 47.2 提升了近 20 分。

GAIA 95.1% 解读:通用 Agent 能力为何这么强

GAIA(General AI Assistants)是衡量通用 Agent 能力的代表性基准,题目要求模型分步拆解任务、调用工具、跨多轮交互后给出准确答案,是典型的"长时程 + 多工具"综合测试。

Agents-A1-4B 拿到 95.1,意味着它不是"碰巧答对",而是在以下三个环节都表现稳定(对应 README.md 的官方能力描述):

  1. 任务拆解与规划(Agentic Reasoning):把复杂问题分解为可执行子步骤,并根据中间结果动态调整策略;
  2. 工具使用(Tool Use):原生支持 function calling,能无缝调用搜索引擎、代码解释器、API 等外部工具;
  3. 长上下文记忆:模型支持 262144(262K)上下文长度(见 config.json 中的 max_position_embeddings),多轮搜索积累的海量中间信息不会"记不住"。

作为参照,同规模 Qwen3.5-4B 在 GAIA 上仅 58.3,Agents-A1-4B 领先了约 37 分——这正是"为 Agent 场景专门训练"与"通用模型直接测"之间的差距。

BrowseComp 66.8 解读:长时程搜索是如何做到的

BrowseComp 考察的是长时程浏览搜索能力:答案往往藏在多轮搜索、多来源交叉验证之后,单靠模型参数里的知识根本答不出来,必须真正"边搜边想"。

4B 版拿到 66.8,已经接近 Qwen3.6(67.9),超过旗舰级 MoE Nex-N2-mini 的差距也只在 7 分左右。结合官方技术路线(README.md),这一成绩主要来自两方面:

  • 长时程轨迹扩展(scaling long-horizon trajectories):训练时借助一套"领域落地"的知识-行动基础设施,联合构造动作(actions)、观察(observations)与验证器结果(verifier outcomes),把 Agent 的整个搜索过程变成可训练的目标——模型学会的不仅是"最终答案",而是"怎么一步步搜到答案";
  • 搜索策略被写进系统提示:官方推荐的 system prompt 中明确规定了研究策略——先用聚焦的查询获取概览,不足时再用更具体的词细化,信息够了就停止、不要过度搜索(见 chat_template.jinja 中的默认系统提示词)。

技术原因:三阶段训练 + 异构能力蒸馏

为什么一个小模型能"通吃"搜索、工程、科研、指令跟随这些异构任务?官方给出的训练范式分三步(README.md):

阶段 做什么 解决什么问题
① 全领域 SFT 全领域监督微调 让基座模型对齐广泛的 Agent 行为
② 领域级教师模型 每个领域单独训练专家教师 获得搜索/工程/科研等各领域专长
③ 多教师多领域在线蒸馏 带"异质性感知优化"的 on-policy 蒸馏 高效地把各教师专长迁移到同一个学生模型

核心思想可以用一句话概括:"扩展地平线,而不是扩展参数量"(Scaling the Horizon, Not the Parameters)——与其把模型做大,不如把模型"看得更远、做更多步"的能力做强。

架构与效率:混合注意力撑起 262K 上下文

从 config.json 可以看到几个与评测表现直接相关的架构细节:

  • 混合注意力:32 层中每 4 层用一次全注意力(full_attention_interval: 4,见 config.json 的 layer_types),其余层为线性注意力。这种设计显著降低长上下文的计算与显存开销,是"小模型也能跑长时程 Agent 任务"的关键;
  • 262K 上下文:max_position_embeddings: 262144,官方部署配置即为 262K 上下文 + 单卡运行(README.md);
  • 多模态底座:vision_config 定义了视觉编码器,配套 preprocessor_config.json 与 processor_config.json,支持图文输入;
  • 推理与工具调用格式内建:chat_template.jinja 模板支持 think 推理块和 tool_call 工具调用块,配合 --reasoning-parser qwen3 与 --tool-call-parser qwen3_coder 参数即可稳定解析多轮工具交互。

部署上单卡即可跑起,以 vLLM 为例(完整命令见 README.md):

vllm serve InternScience/Agents-A1-4B \
  --port 8000 \
  --tensor-parallel-size 1 \
  --max-model-len 262144 \
  --reasoning-parser qwen3

模型文件清单与本地获取方式

本仓库为 Hugging Face Transformers 格式的模型仓库,文件结构如下:

如需离线获取权重,可以克隆本镜像仓库(注意开启 Git LFS 以拉取完整权重):

git clone https://gitcode.com/hf_mirrors/InternScience/Agents-A1-4B

如何复现:评测框架与推荐采样参数

官方开源了统一的 Agent 评测框架,覆盖工具使用与多步推理等核心能力,本文评测数据均在该框架下标准化产出,第三方模型也在同一协议下测评(未公开结果的模型由官方按相同协议补测,见 README.md)。这意味着你可以:

  1. 用同一框架评测自己的模型,做公平横向对比;
  2. 按官方协议复现 Agents-A1-4B 的成绩;
  3. 扩展新 Agent 场景到自己的基准上。

复现时建议使用官方推荐采样参数(README.md),多轮行为更稳定:

参数 推荐值
temperature 0.85
top_p 0.95
top_k 20
presence_penalty 1.1

同时建议保留官方 system prompt,并根据实际环境动态更新其中的 Current date。

总结

Agents-A1-4B 的这份性能评测告诉我们一件事:在 Agent 场景里,"会做多步任务"比"参数大"更重要。

  • GAIA 95.1:通用 Agent 能力逼近 35B 旗舰(96.0),比同规模模型高出约 37 分;
  • BrowseComp 66.8:长时程搜索能力接近 Qwen3.6 水平;
  • 背后是长时程轨迹训练 + 三阶段多教师蒸馏的训练范式,以及混合注意力架构带来的 262K 长上下文效率优势;
  • 单卡即可部署,权重、模板、配置一应俱全,适合想自建本地 AI 助手的开发者直接上手。

如果你想体验"小模型办大事"的 Agent 效果,这个 4B 模型目前是小参数量级里值得优先试的选项之一。

登录后查看全文
Agents-A1-4B