复现 Sage-A1.5 智能体评测:开源评估框架与统一 Agent 评测协议完全指南
复现 Sage-A1.5 智能体评测:开源评估框架与统一 Agent 评测协议完全指南
本文带你完整复现 Sage-A1.5 智能体评测。Sage-A1.5 是 InternScience 开源的 35B MoE 智能体(Agentic)模型,本仓库提供 Q8_0 量化版 GGUF 权重,并配套一套开源 Agent 评测框架与统一评测协议,覆盖工具调用、多步推理、长程搜索等核心能力,让任何人都能在相同协议下复现官方基准分数、横向对比不同模型。
一、先认识 Sage-A1.5:一个为"长程任务"而生的智能体模型
在开始评测之前,先弄清楚被测对象是什么。
- 规模与架构:35B 参数的 Mixture-of-Experts(MoE)多模态模型,采用混合注意力 + SSM 的
qwen35moe架构,支持最高 262,144 tokens 上下文。 - 三大核心能力:
- Agentic Orchestration(智能体编排):把复杂任务拆解给多个子智能体并行执行,各自拥有独立上下文;
- Verification Mode(验证模式):模型在推理中途自动"暂停自查",检查已确认与失败的证据,再修订策略,无需外部评审器;
- Open Scientific Discovery(开放式科学发现):不止回答预设问题,还能开展探索式研究并产出可检查的研究工件。
- 工具调用:原生支持 function calling,可无缝对接搜索、代码解释器、API 等外部工具。
本仓库提供两个文件(详见 README.md 的 "Provided Files" 一节):
| 文件 | 说明 | 大小 |
|---|---|---|
| Sage-A1.5-Q8_0.gguf | 语言模型,Q8_0 量化(含 MoE 权重与内置 MTP 层) | 37.8 GB |
| Sage-A1.5-mmproj.gguf | 视觉投影器,支持图片输入 | 0.9 GB |
💡 Q8_0 属于"近无损"量化:官方基准分数是在 BF16 全精度权重上测得的,Q8_0 与其偏差极小,放心用于评测复现。
二、统一 Agent 评测协议:六大方向一次看懂
官方把评测划分为 6 大方向、16+ 项基准,全部通过同一套开源框架完成。核心结论:Sage-A1.5 在多个基准上取得整体 SOTA(🥇),并在同规模(~35B)模型中广泛领先(🟢)。
| 评测方向 | 代表基准 | Sage-A1.5 得分 |
|---|---|---|
| 🔍 长程搜索 | GAIA / BrowseComp / XBench-DS-2510 | 95.1 / 81.7 / 92.0 🥇 |
| ⚙️ 工程任务 | SWE-bench Pro / MLE-Lite / SciCode | 61.2 🟢 / 65.2 🟢 / 44.3 🟢 |
| 📋 指令遵循 | IFBench / AA-LCR | 81.6 🥇 / 81.0 🟢 |
| 🧪 科学研究 | FrontierScience-Research / CMT | 48.3 🥇 / 80.0 🥇 |
| 🤖 通用智能体任务 | PinchBench / VitaBench | 90.0 🥇 / 45.4 🟢 |
| 🔬 科学智能体任务 | ChemCOTBench / OmniDocBench | 66.5 🟢 / 91.5 🥇 |
几个值得注意的亮点:
- GAIA 95.1:超过所有更大规模对比模型;
- SWE-bench Pro 较前代 A1 提升 +17.6、MLE-Lite +21.3,工程与智能体负载进步显著;
- 所有数字都可用开源评测框架复现。
三、评测协议的关键设计(保证公平可复现)
官方开源了统一评测代码库(位于 Sage-A1 项目的 Sage-A1/evaluation 目录),Model Card 上的所有分数均由该框架产出。协议要点如下:
- 同一套代码、同一套指标:模型需完成"理解目标 → 拆解指令 → 调用工具/交互环境 → 产出最终结果"的完整闭环,任务定义、指标与复现说明全部随代码开源;
- 对比数据口径统一:竞品分数优先引用其原始技术报告;未报告的基准则用相同评测协议实测,避免"各说各话";
- 标准化推理设置:
- SWE-bench 系列使用 mini-SWE-agent 框架,
temperature=1.0、top_p=0.95、200K 上下文、自动上下文压缩,且在完全离线环境中运行; - 通用推荐采样参数:
temperature 1.0、top_p 0.95、top_k 20、min_p 0.0、presence_penalty 1.5、repetition_penalty 1.0。
- SWE-bench 系列使用 mini-SWE-agent 框架,
四、复现步骤:从零跑通智能体评测
第 1 步:获取模型权重
git clone https://gitcode.com/InternScience/Sage-A1.5-Q8_0-GGUF
硬件参考:Q8_0 权重约 35.2 GiB + 视觉投影器 0.84 GiB,再加 KV 缓存。单张 48 GB 显卡可舒适运行中等上下文;显存不足时可用
--tensor-split多卡切分,或调低-ngl把部分层放到 CPU。
第 2 步:用 GGUF 运行时部署模型
三个主流运行时均可,注意必须使用支持 qwen35moe 架构的新版本:
-
llama.cpp(推荐,评测复现首选):
./build/bin/llama-server \ -m Sage-A1.5-Q8_0.gguf \ --mmproj Sage-A1.5-mmproj.gguf \ --alias Sage-A1.5-Q8_0 \ -ngl 99 -fa on -c 65536 \ --port 8000 --jinja \ --reasoning-format deepthink关键点:
--jinja启用内置聊天模板(含 function calling),--reasoning-format deepthink把模型自查过程留在reasoning_content中,与最终答案分离——这对评测时解析自验证轨迹很重要。 -
Ollama:写一个
Modelfile(内容为FROM ./Sage-A1.5-Q8_0.gguf)后ollama create即可; -
LM Studio:把两个 GGUF 文件放在一起,视觉投影器会被自动识别,适合快速体验。
第 3 步:跑通 Agent 评测框架
- 获取 Sage-A1 开源项目,进入
Sage-A1/evaluation评测目录,按其中说明准备任务集与运行环境; - 将框架的后端指向第 2 步启动的 OpenAI 兼容端点(
http://localhost:8000/v1); - 按需启用两个可选模式:
- Agentic Orchestration:向模型注册
spawn_subagent工具即可开启,子任务并行执行并返回结构化 JSON({answer, status, evidence, unresolved_issues}); - Verification Mode:请求中通过
chat_template_kwargs传入{"verification": true}(注意必须是 JSON 布尔值,且 system 消息不能为空),模型就会在同一次回复中完成自查与修订。
- Agentic Orchestration:向模型注册
- 按官方指标汇总得分,与 Model Card 数字对照即完成复现 ✅。
五、常见问题(FAQ)
Q1:为什么我的结果和官方分数有偏差?
先核对三件事:采样参数是否一致、是否使用了支持 qwen35moe 的新版运行时、工具/离线环境是否与协议要求一致。Q8_0 与 BF16 的差距本身极小,偏差主要来自运行配置。
Q2:只想测文本能力,能不要视觉文件吗?
可以。Sage-A1.5-mmproj.gguf 可整体跳过,语言模型独立工作,且省下的显存可分配给更长的 -c 上下文。
Q3:评测必须联网吗? SWE-bench 系列协议明确要求完全离线运行;其余基准按各自任务要求准备数据即可。
Q4:旧版本 llama.cpp / Ollama 加载失败怎么办?
老版本不认识 qwen35moe 架构,请升级到最新版或从源码重新构建。
六、总结
- Sage-A1.5 智能体评测的核心价值:一套开源框架 + 统一协议,让 16+ 项基准分数可复现、可对比、可扩展;
- 本仓库的 Q8_0 GGUF 权重近无损,单机 48 GB 显卡即可完整跑起被测模型;
- 复现路径只有三步:获取权重 → llama.cpp/Ollama/LM Studio 部署 → 接入
Sage-A1/evaluation框架; - 你也可以基于同一协议评测自己的模型,把新任务加入这个不断扩展的智能体基准体系中。
📄 更多细节(文件清单、高级模式说明、引用信息)见 README.md 的 "Agent Capability Evaluation" 与 "Usage" 章节。