Sage-A1.5评测框架开发者指南:如何复现官方智能体基准并扩展你自己的Agent任务

原创2026-10-22 16:34:481,672 阅读
文章标签:大模型基础模型多模态AI Agent科研

Sage-A1.5评测框架开发者指南:如何复现官方智能体基准并扩展你自己的Agent任务

Sage-A1.5 评测框架是官方开源的智能体基准评测工具集,帮助开发者快速复现 GAIA、SWE-bench Pro 等基准成绩,并扩展你自己的 Agent 任务。本文带你从零搭好评测环境、跑通官方基准复现,并学会自定义任务与指标。

快速认识被测对象:Sage-A1.5 能力速览

在开始评测之前,先了解被测模型的特性——这直接决定了你的评测协议该怎么设计。

Sage-A1.5 是上海AI实验室推出的 35B Mixture-of-Experts(MoE)智能体模型,主打长程科学问题求解。它有三项核心能力,也正是评测框架重点覆盖的方向:

能力 说明 对应评测点
🧭 Agentic Orchestration(智能体编排) 把大任务拆给多个子智能体并行处理,各自持有独立上下文 BrowseComp、DeepResearch-Bench2
✅ Verification Mode(验证模式) 模型在推理中途自我审查、修正策略,无需外部评审器 长程任务可靠性
🔧 Tool Use(工具调用) 原生支持 function calling,可对接代码解释器、搜索、API SWE-bench 系列、GAIA

从模型仓库的 config.json 可以直接看到关键规格:num_experts 为 256、每 token 激活 8 个专家(见 config.json),原生上下文长度 262144(256K),架构为 Qwen3_5MoeForConditionalGeneration(见 config.json)。模型权重按 14 个分片存放,索引文件为 model.safetensors.index.json,另有一个专用于多 token 预测加速的 model-mtp.safetensors。

💡 提示:评测前确认你的推理引擎能正确加载这些分片与 MTP 权重,否则复现结果会偏离官方成绩。

官方评测框架结构:六大方向的基准覆盖

官方在 README.md 的 Agent Capability Evaluation 章节说明了评测体系:

  • 评测代码随 Sage-A1 系列一并开源(位于 Agents-A1 代码库的 evaluation 目录),社区可用统一代码库做公平对比;
  • 模型卡中报告的所有成绩都由该框架生成,用户可据此复现实验、在相同协议下对比其他模型,并扩展新的 Agent 场景;
  • 第三方模型优先引用其原始技术报告的成绩;未报告的成绩则用同一评测协议补测。

整个体系覆盖 6 大方向、18 项基准:🔍 长程搜索(GAIA、BrowseComp、XBench-DS-2510)、⚙️ 工程任务(SWE-bench Pro、MLE-Lite、SciCode)、📋 指令遵循(IFBench、AA-LCR)、🧪 科学研究(FrontierScience、CMT、CritPt)、🤖 通用智能体(ALE-CLI、VitaBench、PinchBench)、🔬 科学智能体(ChemCOTBench、OmniDocBench)。

官方成绩中的代表性数字:GAIA 95.1、XBench-DS-2510 92.0(全场第一 🥇)、IFBench 81.6 🥇、PinchBench 90.0 🥇、SWE-bench Pro 61.2、MLE-Lite 65.2。

一键部署评测环境:SGLang 或 vLLM

复现的第一步是让模型以 API 形式跑起来。两种主流推理框架均可,命令都能创建 http://localhost:8000/v1 端点:

# vLLM 标准部署(单卡、256K 上下文)
vllm serve InternScience/Sage-A1.5 \
  --port 8000 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder
# SGLang 标准部署
python -m sglang.launch_server \
  --model-path InternScience/Sage-A1.5 \
  --port 8000 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder

⚠️ 三个容易踩坑的参数:

  1. reasoning-parser 必须设为 qwen3:验证模式的自审查内容输出在 reasoning_content 字段里,解析器不对就拿不到;
  2. tool-call-parser 设为 qwen3_coder:工具调用的 XML 格式由该解析器切分;
  3. 需要 512K 超长上下文时,用 YaRN(factor: 2.0)覆盖 RoPE 参数,完整命令见 README.md。

如果本地需要模型文件,可以拉取仓库:

git clone https://gitcode.com/InternScience/Sage-A1.5

复现官方基准的 4 个关键步骤

步骤 1:固定标准化 harness

官方对 SWE-bench 系列的复现设定非常明确(见 README.md):使用 mini-SWE-agent harness,temperature=1.0、top-p=0.95、200K token 上下文窗口、开启自动上下文压缩,且全程离线环境(无网络)。你的评测脚本必须锁定这组参数。

步骤 2:使用官方推荐采样参数

模型卡推荐的生成参数(README.md):

参数 值 参数 值
temperature 1.0 top_k 20
top_p 0.95 min_p 0.0
presence_penalty 1.5 repetition_penalty 1.0

presence_penalty=1.5 是防止长程轨迹中重复的关键项,复现时不要随意调低。

步骤 3:跑官方任务集

用开源评测框架中的标准任务定义逐项运行。多模态任务(如 OmniDocBench)还需要图像处理配置,可参考仓库中的 preprocessor_config.json、video_preprocessor_config.json 与 processor_config.json,确保图像/视频预处理参数与官方一致。

步骤 4:对齐成绩并记录协议

将你的结果与上表官方数字对齐。若偏差较大,优先检查:上下文长度、压缩策略、采样参数、工具解析器四件事。复现时建议把完整的 harness 配置存档,方便后续横向对比其他模型。

进阶评测:开启 Agentic Orchestration 与 Verification Mode

这两种官方进阶模式默认关闭,是评测"智能体上限"时的关键开关。

Agentic Orchestration:注册 spawn_subagent 工具

只需在工具列表中注册一个 spawn_subagent 函数(schema 全文见 README.md):模型遇到可拆分的独立子问题时会自动调用它,你的 harness 负责并行执行每个子任务并按输入顺序返回结构化结果 {answer, status, evidence, unresolved_issues}。要点:

  • 每个子任务必须自包含(task / context / expected_output 三个字段缺一不可,子智能体看不到主对话);
  • 批量与轮次预算在 harness 侧配置:max_tasks_per_spawn(默认 5)、subagent_max_turns(默认 20),超大批次会直接报错而非截断;
  • 子智能体查不到答案时会返回 "UNKNOWN" 加 status: unknown——用答案前务必先查 status。

Verification Mode:一个请求级开关

在请求里传 chat_template_kwargs: {"verification": true},chat 模板就会在系统消息末尾追加验证协议触发词(模板实现见 chat_template.jinja)。模型随后在同一轮内暂停、自审查、再按修正后的方向继续。注意三条硬性约束(模板内会直接抛错):

  • 必须有非空 system message,否则返回 HTTP 400;
  • 必须传 JSON 布尔值 true,传字符串 "true" 会被拒绝;
  • 不传 chat_template_kwargs 等价于 {"verification": false},提示词不变。
response = client.chat.completions.create(
    model="InternScience/Sage-A1.5",
    messages=[...],
    extra_body={"chat_template_kwargs": {"verification": True}},
)
print(response.choices[0].message.reasoning_content)  # 自审查发生在这里

工具渲染与验证触发共用同一套模板逻辑,参考 chat_template.jinja。

扩展你自己的 Agent 任务:从任务定义到指标设计

框架鼓励社区扩展新场景,推荐按以下 4 步落地:

  1. 定义任务:给出自包含的 task、背景约束 context、以及作为格式约束的 expected_output(如 "a year YYYY"),让答案短小、可自动校验;
  2. 设计指标:优先采用可确定性判定的指标(精确匹配、JSON 字段校验、单元测试通过率),减少主观打分;
  3. 固定协议:写明 harness 版本、采样参数、上下文长度、是否离线、是否开启 Orchestration/Verification——官方正是靠这套元信息保证成绩可比;
  4. 回归验证:先在你新增任务上跑一遍 Sage-A1.5 与一个基线模型,确认指标有区分度后再发布。

🎯 经验法则:如果你的新任务需要多步推理,务必为子智能体预算足够的轮次(subagent_max_turns),并给子任务留出独立工具集(subagent_tools),这比单纯调大主智能体上下文更见效。

常见问题排查:评测跑不通怎么办

症状 原因 解决办法
verification: true 返回 400 缺少 system message 补一条非空系统消息
提示 verification must be a boolean 传了字符串 "true" 改用 JSON 布尔 true
拿不到自审查内容 未配置 reasoning-parser qwen3 按上文部署参数重新拉起服务
成绩明显低于官方 采样/上下文参数不一致 对齐 presence_penalty=1.5、200K 上下文与压缩开关
加载多模态任务失败 预处理参数不匹配 核对 preprocessor_config.json 的图像/视频参数

相关文件速查

按本文流程走完,你就能在统一协议下复现 Sage-A1.5 的官方智能体基准,并把任意新 Agent 任务纳入同一套评测体系——这正是官方开源评测框架的核心价值。

登录后查看全文
Sage-A1.5