Agents-A1-4B性能评测全解读:GAIA 95.1%与BrowseComp 66.8如何达成
Agents-A1-4B性能评测全解读:GAIA 95.1%与BrowseComp 66.8如何达成
Agents-A1-4B 是 InternScience 推出的 4B 参数级 agentic 模型,专注长时程搜索(Long-horizon Search)、工具调用、工程研究与指令跟随。它的性能评测数据相当亮眼:GAIA 95.1、BrowseComp 66.8、XBench-DS-2510 90.0、IFEval 94.8,多项成绩追平甚至超越更大的 MoE 模型。本文带你逐项解读这份 Agents-A1-4B 性能评测报告,并讲清楚高分背后的技术原因与落地部署要点。
4B 模型成绩速览:哪些基准拿了第一 🏆
先看核心分数(数据来自 README.md 的官方对比表,对比对象为同规模的 Qwen3.5-4B 与更大的 MoE 模型):
| 基准测试 | Qwen3.5-4B | Agents-A1-4B | Qwen3.6 | Nex-N2-mini | Agents-A1 (35B) |
|---|---|---|---|---|---|
| BrowseComp | 47.2 | 66.8 | 67.9 | 74.1 | 75.5 |
| XBench-DS-2510 | 73.0 | 90.0 🥇 | 71.0 | 82.0 | 86.0 |
| Seal0 | 31.5 | 45.8 | 38.7 | 49.6 | 56.4 🥇 |
| GAIA | 58.3 | 95.1 | 78.6 | 82.5 | 96.0 🥇 |
| FrontierScience-Research | 1.7 | 33.3 | 2.9 | 5.0 | 40.0 🥇 |
| IFEval | 89.8 | 94.8 🥇 | 91.3 | 88.4 | 94.8 🥇 |
| VitaBench | 22.0 | 40.3 🥇 | 35.6 | 23.0 | 38.8 |
| MatTools | 10.9 | 49.3 🥇 | 15.9 | 34.1 | 47.1 |
几个值得注意的点:
- XA 级领先:在 XBench-DS-2510、IFEval、VitaBench、MatTools 上,4B 小模型直接拿到了表中最高分(🥇),超过了参数量大一个量级的 MoE 模型。
- 接近旗舰:GAIA 上 35B 旗舰版为 96.0,4B 版为 95.1,仅差 0.9 分——小模型与旗舰之间的差距被大幅压缩。
- 长时程搜索是强项:BrowseComp 66.8 相比同规模 Qwen3.5-4B 的 47.2 提升了近 20 分。
GAIA 95.1% 解读:通用 Agent 能力为何这么强
GAIA(General AI Assistants)是衡量通用 Agent 能力的代表性基准,题目要求模型分步拆解任务、调用工具、跨多轮交互后给出准确答案,是典型的"长时程 + 多工具"综合测试。
Agents-A1-4B 拿到 95.1,意味着它不是"碰巧答对",而是在以下三个环节都表现稳定(对应 README.md 的官方能力描述):
- 任务拆解与规划(Agentic Reasoning):把复杂问题分解为可执行子步骤,并根据中间结果动态调整策略;
- 工具使用(Tool Use):原生支持 function calling,能无缝调用搜索引擎、代码解释器、API 等外部工具;
- 长上下文记忆:模型支持 262144(262K)上下文长度(见 config.json 中的
max_position_embeddings),多轮搜索积累的海量中间信息不会"记不住"。
作为参照,同规模 Qwen3.5-4B 在 GAIA 上仅 58.3,Agents-A1-4B 领先了约 37 分——这正是"为 Agent 场景专门训练"与"通用模型直接测"之间的差距。
BrowseComp 66.8 解读:长时程搜索是如何做到的
BrowseComp 考察的是长时程浏览搜索能力:答案往往藏在多轮搜索、多来源交叉验证之后,单靠模型参数里的知识根本答不出来,必须真正"边搜边想"。
4B 版拿到 66.8,已经接近 Qwen3.6(67.9),超过旗舰级 MoE Nex-N2-mini 的差距也只在 7 分左右。结合官方技术路线(README.md),这一成绩主要来自两方面:
- 长时程轨迹扩展(scaling long-horizon trajectories):训练时借助一套"领域落地"的知识-行动基础设施,联合构造动作(actions)、观察(observations)与验证器结果(verifier outcomes),把 Agent 的整个搜索过程变成可训练的目标——模型学会的不仅是"最终答案",而是"怎么一步步搜到答案";
- 搜索策略被写进系统提示:官方推荐的 system prompt 中明确规定了研究策略——先用聚焦的查询获取概览,不足时再用更具体的词细化,信息够了就停止、不要过度搜索(见 chat_template.jinja 中的默认系统提示词)。
技术原因:三阶段训练 + 异构能力蒸馏
为什么一个小模型能"通吃"搜索、工程、科研、指令跟随这些异构任务?官方给出的训练范式分三步(README.md):
| 阶段 | 做什么 | 解决什么问题 |
|---|---|---|
| ① 全领域 SFT | 全领域监督微调 | 让基座模型对齐广泛的 Agent 行为 |
| ② 领域级教师模型 | 每个领域单独训练专家教师 | 获得搜索/工程/科研等各领域专长 |
| ③ 多教师多领域在线蒸馏 | 带"异质性感知优化"的 on-policy 蒸馏 | 高效地把各教师专长迁移到同一个学生模型 |
核心思想可以用一句话概括:"扩展地平线,而不是扩展参数量"(Scaling the Horizon, Not the Parameters)——与其把模型做大,不如把模型"看得更远、做更多步"的能力做强。
架构与效率:混合注意力撑起 262K 上下文
从 config.json 可以看到几个与评测表现直接相关的架构细节:
- 混合注意力:32 层中每 4 层用一次全注意力(
full_attention_interval: 4,见 config.json 的layer_types),其余层为线性注意力。这种设计显著降低长上下文的计算与显存开销,是"小模型也能跑长时程 Agent 任务"的关键; - 262K 上下文:
max_position_embeddings: 262144,官方部署配置即为 262K 上下文 + 单卡运行(README.md); - 多模态底座:
vision_config定义了视觉编码器,配套 preprocessor_config.json 与 processor_config.json,支持图文输入; - 推理与工具调用格式内建:chat_template.jinja 模板支持
think推理块和tool_call工具调用块,配合--reasoning-parser qwen3与--tool-call-parser qwen3_coder参数即可稳定解析多轮工具交互。
部署上单卡即可跑起,以 vLLM 为例(完整命令见 README.md):
vllm serve InternScience/Agents-A1-4B \
--port 8000 \
--tensor-parallel-size 1 \
--max-model-len 262144 \
--reasoning-parser qwen3
模型文件清单与本地获取方式
本仓库为 Hugging Face Transformers 格式的模型仓库,文件结构如下:
- model-00000-of-00002.safetensors / model-00001-of-00002.safetensors:模型权重,分两个分片存储;
- model.safetensors.index.json:权重索引,共 723 个张量,可据此核对权重完整性;
- config.json:模型结构配置(Qwen3.5 架构,bfloat16);
- tokenizer.json 与 tokenizer_config.json:分词器配置,词表 248320,包含
tool_call、think等特殊 token; - chat_template.jinja:对话模板,内置默认 system prompt 与工具调用协议;
- README.md:模型卡,含完整性能表、部署命令与推荐采样参数。
如需离线获取权重,可以克隆本镜像仓库(注意开启 Git LFS 以拉取完整权重):
git clone https://gitcode.com/hf_mirrors/InternScience/Agents-A1-4B
如何复现:评测框架与推荐采样参数
官方开源了统一的 Agent 评测框架,覆盖工具使用与多步推理等核心能力,本文评测数据均在该框架下标准化产出,第三方模型也在同一协议下测评(未公开结果的模型由官方按相同协议补测,见 README.md)。这意味着你可以:
- 用同一框架评测自己的模型,做公平横向对比;
- 按官方协议复现 Agents-A1-4B 的成绩;
- 扩展新 Agent 场景到自己的基准上。
复现时建议使用官方推荐采样参数(README.md),多轮行为更稳定:
| 参数 | 推荐值 |
|---|---|
temperature |
0.85 |
top_p |
0.95 |
top_k |
20 |
presence_penalty |
1.1 |
同时建议保留官方 system prompt,并根据实际环境动态更新其中的 Current date。
总结
Agents-A1-4B 的这份性能评测告诉我们一件事:在 Agent 场景里,"会做多步任务"比"参数大"更重要。
- GAIA 95.1:通用 Agent 能力逼近 35B 旗舰(96.0),比同规模模型高出约 37 分;
- BrowseComp 66.8:长时程搜索能力接近 Qwen3.6 水平;
- 背后是长时程轨迹训练 + 三阶段多教师蒸馏的训练范式,以及混合注意力架构带来的 262K 长上下文效率优势;
- 单卡即可部署,权重、模板、配置一应俱全,适合想自建本地 AI 助手的开发者直接上手。
如果你想体验"小模型办大事"的 Agent 效果,这个 4B 模型目前是小参数量级里值得优先试的选项之一。