Sage-A1.5-FP8基准测试全解读:GAIA 95.1分背后的智能体能力图谱

原创2026-10-22 14:51:552,596 阅读
文章标签:大模型人工智能多模态模型量化AI Agent

Sage-A1.5-FP8基准测试全解读:GAIA 95.1分背后的智能体能力图谱

Sage-A1.5-FP8 是 InternScience 开源的 35B MoE 智能体大模型的 FP8 量化版,支持 262K 长上下文、工具调用与多子智能体编排。本文从 95.1 分的 GAIA 基准测试入手,逐表拆解其六大方向的评测成绩单,帮新手快速看懂这张智能体能力图谱。

一、模型档案:Sage-A1.5-FP8 到底是什么?

在解读分数之前,先花一分钟认识这位"选手":

项目 说明
模型定位 35B 总参数 MoE(混合专家)智能体大模型
激活方式 每 token 激活 8/256 个专家,推理开销远低于同规模稠密模型
模态 视觉语言模型(VLM),支持图片与视频输入
上下文 最长 262144(262K)token
量化方案 FP8(compressed-tensors 的 FP8_DYNAMIC 方案),权重文件约 39GB
加速特性 内置 MTP 多 token 预测头,可配合 EAGLE 投机解码提速
推理框架 兼容 Hugging Face Transformers、vLLM、SGLang

仓库里的关键文件一眼看懂:

文件 作用
README.md 模型卡:完整基准测试总表与使用说明
config.json 架构与量化配置(qwen3_5_moe、FP8 参数)
recipe.yaml FP8 量化配方(FP8_DYNAMIC,无需校准数据)
model-00001-of-00002.safetensors / model-00002-of-00002.safetensors FP8 量化后的主体权重
model_mtp.safetensors MTP 多 token 预测权重(推理加速用)
chat_template.jinja 对话模板(Verification Mode 的触发协议就藏在里面)
tokenizer.json 分词器

一句话总结:这是一个"小身材、长脑子"的模型——35B 级别的身材,却主打长程任务执行和科学探索能力。

二、如何看懂这份基准测试成绩单?

README 中的对比表使用两套标记,先分清就不会读乱:

  • 🥇 Overall SOTA:全部参评模型中的最高分;
  • 🟢 Best Among Comparable Models:同规模(约 35B)阵营中的最高分。

对比阵容分为两组:

  • 同规模组(~35B):Sage-A1.5、Agents-A1(上一代)、Ornith-1.5
  • 更大规模组:Kimi-K3、GLM-5.3、GPT-5.6-sol

评测覆盖 六大方向:长程搜索(Long-horizon Search)、工程任务(Engineering Tasks)、指令遵循(Instruction Following)、科学研究(Scientific Research)、通用智能体任务(General Agentic Tasks)、科学智能体任务(Scientific Agentic Tasks)。

💡 公平性说明:对比模型优先引用其官方技术报告成绩;未报告的则用同一套开源评测协议实测,SWE-bench 系列全程离线、固定采样参数评测。

三、GAIA 95.1 分:长程搜索为何能反超更大模型

GAIA 是衡量"通用 AI 助手"能力的标杆基准:题目需要多轮搜索、工具调用、跨来源交叉验证才能答对,非常考验模型的长程规划与执行。

模型 GAIA 得分
Agents-A1(同规模) 96.0 🥇(同规模组)
Sage-A1.5-FP8 95.1
Kimi-K3 92.2
GLM-5.3 92.2
GPT-5.6-sol 88.3

95.1 分意味着:Sage-A1.5 跑赢了所有参评的更大规模模型。作为 35B 级 MoE,它只激活其中一小部分专家,推理成本远低于这些前沿大模型——"以小博大"是这张成绩单最醒目的注脚。

四、六大方向逐项解读:智能体能力图谱

🔍 长程搜索:越查越准

基准 Sage-A1.5-FP8 说明
GAIA 95.1 高于全部更大规模模型
BrowseComp 81.7(开启多智能体编排后 82.8) 同规模第一,比 Agents-A1 高 6.2
XBench-DS-2510 92.0 🥇 全场 SOTA
DeepResearch-Bench2 43.7(开启编排后 47.5) 深度研究任务

开启 Agentic Orchestration 后,BrowseComp 和 DeepResearch-Bench2 分别提升 1.1 和 3.8 分,说明并行子智能体对复杂检索任务有实打实的增益。

⚙️ 工程任务:写代码、修 Bug 的真实水平

基准 Sage-A1.5-FP8 对比 Agents-A1 说明
SWE-bench Pro 61.2 🟢 43.6(+17.6) 同规模第一
SWE-bench Multilingual 72.7 🟢 58.7(+14.0) 同规模第一
MLE-Lite 65.2 🟢 43.9(+21.3) 同规模第一
SciCode 44.3 🟢 44.3(持平) 同规模并列第一

相对上一代 Agents-A1,工程类负载提升 14~21 分,是进步幅度最大的方向。

📋 指令遵循:听得懂复杂约束

基准 Sage-A1.5-FP8 说明
IFBench 81.6 🥇 全场 SOTA,领先 Kimi-K3 约 9 分
AA-LCR 81.0 🟢 同规模第一

🧪 科学研究:最强项集中区

基准 Sage-A1.5-FP8 说明
FrontierScience-Olympiad 81.0 🥇 领先 GPT-5.6-sol(73.0)8 分
FrontierScience-Research 48.3 🥇 更大模型仅 16.7~26.7,接近翻倍
CMT 80.0 🥇 更大模型普遍在 34~50 区间
HLE w/ tools 55.1 🟢 同规模第一

科学研究是 Sage 系列的主场:探索式研究任务上对大模型的领先优势最明显。

🤖 通用智能体任务:日常"干活"能力

基准 Sage-A1.5-FP8 说明
PinchBench 90.0 🥇 比 Agents-A1 高 13.1
VitaBench 45.4 🟢 同规模第一
Agents' Last Exam(ALE-CLI) 19.1 🟢 同规模第一,但整体难度极高

🔬 科学智能体任务:边查资料边做实验

基准 Sage-A1.5-FP8 说明
ChemCOTBench 66.5 🟢 同规模第一
OmniDocBench 91.5 🥇 多模态文档理解,全场 SOTA
MatTools 42.6 同规模第二,仍有提升空间

五、95.1 分背后的三大核心能力

分数只是表象,README 明确点出支撑成绩的能力组合:

1️⃣ Agentic Orchestration:多子智能体并行编排

模型可调用 spawn_subagent 工具,把复杂任务拆成互不依赖的子问题,派给多个上下文隔离的子智能体并行执行,最后汇总结构化结果。好处是各子任务互不干扰、速度并行,BrowseComp 和 DeepResearch-Bench2 的增益正来自这里。

2️⃣ Verification Mode:内置的"自查"开关

这是选开模式(默认关闭):通过请求参数 chat_template_kwargs: {"verification": true} 触发,模型会在思考中途暂停,复盘"已确认了什么、哪里失败了",然后在同一轮内调整方向——自我审查发生在模型自身的思考链里,无需外部评审器。对长程任务而言,这是可靠性的重要保障。

3️⃣ Open Scientific Discovery:从答题到做研究

能力不止于回答预设问题,而是连接科学探究与交互式分析,产出可检查的研究工件。FrontierScience-Research 48.3 分的 SOTA 正体现了这一点。

六、快速上手:部署 Sage-A1.5-FP8 的最简步骤

得益于 FP8 量化,FP8 权重约 39GB,单卡即可跑满 262K 上下文。

第一步,获取模型文件:

git clone https://gitcode.com/InternScience/Sage-A1.5-FP8

第二步,用 vLLM 一行命令起服务(OpenAI 兼容 API):

vllm serve InternScience/Sage-A1.5-FP8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

想要更快的出字速度,可再启用 MTP 投机解码(SGLang 侧对应 --speculative-algorithm EAGLE 参数),详见 README.md。

📌 官方推荐的采样参数,别乱改:

参数 值
temperature 1.0
top_p 0.95
top_k 20
min_p 0.0
presence_penalty 1.5
repetition_penalty 1.0

另外,团队开源了统一的智能体评测框架(随 Agents-A1 仓库的 evaluation 目录发布),本文的成绩单即由其生成,方便你在同一协议下复现或对比其他模型。

七、总结:这张能力图谱说明了什么

  • 以小博大:35B MoE 在 GAIA 上以 95.1 分跑赢全部更大规模模型;
  • 7 项全场 SOTA:XBench-DS-2510、IFBench、FrontierScience 两项、CMT、PinchBench、OmniDocBench;
  • 同规模 12 项第一:在 ~35B 阵营中覆盖搜索、工程、科研多方向;
  • 代际进步显著:工程与智能体负载较 Agents-A1 提升 13~21 分;
  • 可玩性高:多智能体编排与 Verification 自查均为可选开关,按需启用。

如果你想低成本搭建一个"会拆任务、会自查、会并行"的科研型智能体,Sage-A1.5-FP8 值得放进你的对比清单。

登录后查看全文
Sage-A1.5-FP8