Sage-A1.5-FP8基准测试全解读:GAIA 95.1分背后的智能体能力图谱
Sage-A1.5-FP8基准测试全解读:GAIA 95.1分背后的智能体能力图谱
Sage-A1.5-FP8 是 InternScience 开源的 35B MoE 智能体大模型的 FP8 量化版,支持 262K 长上下文、工具调用与多子智能体编排。本文从 95.1 分的 GAIA 基准测试入手,逐表拆解其六大方向的评测成绩单,帮新手快速看懂这张智能体能力图谱。
一、模型档案:Sage-A1.5-FP8 到底是什么?
在解读分数之前,先花一分钟认识这位"选手":
| 项目 | 说明 |
|---|---|
| 模型定位 | 35B 总参数 MoE(混合专家)智能体大模型 |
| 激活方式 | 每 token 激活 8/256 个专家,推理开销远低于同规模稠密模型 |
| 模态 | 视觉语言模型(VLM),支持图片与视频输入 |
| 上下文 | 最长 262144(262K)token |
| 量化方案 | FP8(compressed-tensors 的 FP8_DYNAMIC 方案),权重文件约 39GB |
| 加速特性 | 内置 MTP 多 token 预测头,可配合 EAGLE 投机解码提速 |
| 推理框架 | 兼容 Hugging Face Transformers、vLLM、SGLang |
仓库里的关键文件一眼看懂:
| 文件 | 作用 |
|---|---|
| README.md | 模型卡:完整基准测试总表与使用说明 |
| config.json | 架构与量化配置(qwen3_5_moe、FP8 参数) |
| recipe.yaml | FP8 量化配方(FP8_DYNAMIC,无需校准数据) |
| model-00001-of-00002.safetensors / model-00002-of-00002.safetensors | FP8 量化后的主体权重 |
| model_mtp.safetensors | MTP 多 token 预测权重(推理加速用) |
| chat_template.jinja | 对话模板(Verification Mode 的触发协议就藏在里面) |
| tokenizer.json | 分词器 |
一句话总结:这是一个"小身材、长脑子"的模型——35B 级别的身材,却主打长程任务执行和科学探索能力。
二、如何看懂这份基准测试成绩单?
README 中的对比表使用两套标记,先分清就不会读乱:
- 🥇 Overall SOTA:全部参评模型中的最高分;
- 🟢 Best Among Comparable Models:同规模(约 35B)阵营中的最高分。
对比阵容分为两组:
- 同规模组(~35B):Sage-A1.5、Agents-A1(上一代)、Ornith-1.5
- 更大规模组:Kimi-K3、GLM-5.3、GPT-5.6-sol
评测覆盖 六大方向:长程搜索(Long-horizon Search)、工程任务(Engineering Tasks)、指令遵循(Instruction Following)、科学研究(Scientific Research)、通用智能体任务(General Agentic Tasks)、科学智能体任务(Scientific Agentic Tasks)。
💡 公平性说明:对比模型优先引用其官方技术报告成绩;未报告的则用同一套开源评测协议实测,SWE-bench 系列全程离线、固定采样参数评测。
三、GAIA 95.1 分:长程搜索为何能反超更大模型
GAIA 是衡量"通用 AI 助手"能力的标杆基准:题目需要多轮搜索、工具调用、跨来源交叉验证才能答对,非常考验模型的长程规划与执行。
| 模型 | GAIA 得分 |
|---|---|
| Agents-A1(同规模) | 96.0 🥇(同规模组) |
| Sage-A1.5-FP8 | 95.1 |
| Kimi-K3 | 92.2 |
| GLM-5.3 | 92.2 |
| GPT-5.6-sol | 88.3 |
95.1 分意味着:Sage-A1.5 跑赢了所有参评的更大规模模型。作为 35B 级 MoE,它只激活其中一小部分专家,推理成本远低于这些前沿大模型——"以小博大"是这张成绩单最醒目的注脚。
四、六大方向逐项解读:智能体能力图谱
🔍 长程搜索:越查越准
| 基准 | Sage-A1.5-FP8 | 说明 |
|---|---|---|
| GAIA | 95.1 | 高于全部更大规模模型 |
| BrowseComp | 81.7(开启多智能体编排后 82.8) | 同规模第一,比 Agents-A1 高 6.2 |
| XBench-DS-2510 | 92.0 🥇 | 全场 SOTA |
| DeepResearch-Bench2 | 43.7(开启编排后 47.5) | 深度研究任务 |
开启 Agentic Orchestration 后,BrowseComp 和 DeepResearch-Bench2 分别提升 1.1 和 3.8 分,说明并行子智能体对复杂检索任务有实打实的增益。
⚙️ 工程任务:写代码、修 Bug 的真实水平
| 基准 | Sage-A1.5-FP8 | 对比 Agents-A1 | 说明 |
|---|---|---|---|
| SWE-bench Pro | 61.2 🟢 | 43.6(+17.6) | 同规模第一 |
| SWE-bench Multilingual | 72.7 🟢 | 58.7(+14.0) | 同规模第一 |
| MLE-Lite | 65.2 🟢 | 43.9(+21.3) | 同规模第一 |
| SciCode | 44.3 🟢 | 44.3(持平) | 同规模并列第一 |
相对上一代 Agents-A1,工程类负载提升 14~21 分,是进步幅度最大的方向。
📋 指令遵循:听得懂复杂约束
| 基准 | Sage-A1.5-FP8 | 说明 |
|---|---|---|
| IFBench | 81.6 🥇 | 全场 SOTA,领先 Kimi-K3 约 9 分 |
| AA-LCR | 81.0 🟢 | 同规模第一 |
🧪 科学研究:最强项集中区
| 基准 | Sage-A1.5-FP8 | 说明 |
|---|---|---|
| FrontierScience-Olympiad | 81.0 🥇 | 领先 GPT-5.6-sol(73.0)8 分 |
| FrontierScience-Research | 48.3 🥇 | 更大模型仅 16.7~26.7,接近翻倍 |
| CMT | 80.0 🥇 | 更大模型普遍在 34~50 区间 |
| HLE w/ tools | 55.1 🟢 | 同规模第一 |
科学研究是 Sage 系列的主场:探索式研究任务上对大模型的领先优势最明显。
🤖 通用智能体任务:日常"干活"能力
| 基准 | Sage-A1.5-FP8 | 说明 |
|---|---|---|
| PinchBench | 90.0 🥇 | 比 Agents-A1 高 13.1 |
| VitaBench | 45.4 🟢 | 同规模第一 |
| Agents' Last Exam(ALE-CLI) | 19.1 🟢 | 同规模第一,但整体难度极高 |
🔬 科学智能体任务:边查资料边做实验
| 基准 | Sage-A1.5-FP8 | 说明 |
|---|---|---|
| ChemCOTBench | 66.5 🟢 | 同规模第一 |
| OmniDocBench | 91.5 🥇 | 多模态文档理解,全场 SOTA |
| MatTools | 42.6 | 同规模第二,仍有提升空间 |
五、95.1 分背后的三大核心能力
分数只是表象,README 明确点出支撑成绩的能力组合:
1️⃣ Agentic Orchestration:多子智能体并行编排
模型可调用 spawn_subagent 工具,把复杂任务拆成互不依赖的子问题,派给多个上下文隔离的子智能体并行执行,最后汇总结构化结果。好处是各子任务互不干扰、速度并行,BrowseComp 和 DeepResearch-Bench2 的增益正来自这里。
2️⃣ Verification Mode:内置的"自查"开关
这是选开模式(默认关闭):通过请求参数 chat_template_kwargs: {"verification": true} 触发,模型会在思考中途暂停,复盘"已确认了什么、哪里失败了",然后在同一轮内调整方向——自我审查发生在模型自身的思考链里,无需外部评审器。对长程任务而言,这是可靠性的重要保障。
3️⃣ Open Scientific Discovery:从答题到做研究
能力不止于回答预设问题,而是连接科学探究与交互式分析,产出可检查的研究工件。FrontierScience-Research 48.3 分的 SOTA 正体现了这一点。
六、快速上手:部署 Sage-A1.5-FP8 的最简步骤
得益于 FP8 量化,FP8 权重约 39GB,单卡即可跑满 262K 上下文。
第一步,获取模型文件:
git clone https://gitcode.com/InternScience/Sage-A1.5-FP8
第二步,用 vLLM 一行命令起服务(OpenAI 兼容 API):
vllm serve InternScience/Sage-A1.5-FP8 \
--max-model-len 262144 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder
想要更快的出字速度,可再启用 MTP 投机解码(SGLang 侧对应 --speculative-algorithm EAGLE 参数),详见 README.md。
📌 官方推荐的采样参数,别乱改:
| 参数 | 值 |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 20 |
| min_p | 0.0 |
| presence_penalty | 1.5 |
| repetition_penalty | 1.0 |
另外,团队开源了统一的智能体评测框架(随 Agents-A1 仓库的 evaluation 目录发布),本文的成绩单即由其生成,方便你在同一协议下复现或对比其他模型。
七、总结:这张能力图谱说明了什么
- 以小博大:35B MoE 在 GAIA 上以 95.1 分跑赢全部更大规模模型;
- 7 项全场 SOTA:XBench-DS-2510、IFBench、FrontierScience 两项、CMT、PinchBench、OmniDocBench;
- 同规模 12 项第一:在 ~35B 阵营中覆盖搜索、工程、科研多方向;
- 代际进步显著:工程与智能体负载较 Agents-A1 提升 13~21 分;
- 可玩性高:多智能体编排与 Verification 自查均为可选开关,按需启用。
如果你想低成本搭建一个"会拆任务、会自查、会并行"的科研型智能体,Sage-A1.5-FP8 值得放进你的对比清单。