复现 Sage-A1.5 智能体评测:开源评估框架与统一 Agent 评测协议完全指南

原创2026-10-22 22:52:202,124 阅读
文章标签:大模型模型量化本地部署

复现 Sage-A1.5 智能体评测:开源评估框架与统一 Agent 评测协议完全指南

本文带你完整复现 Sage-A1.5 智能体评测。Sage-A1.5 是 InternScience 开源的 35B MoE 智能体(Agentic)模型,本仓库提供 Q8_0 量化版 GGUF 权重,并配套一套开源 Agent 评测框架与统一评测协议,覆盖工具调用、多步推理、长程搜索等核心能力,让任何人都能在相同协议下复现官方基准分数、横向对比不同模型。

一、先认识 Sage-A1.5:一个为"长程任务"而生的智能体模型

在开始评测之前,先弄清楚被测对象是什么。

  • 规模与架构:35B 参数的 Mixture-of-Experts(MoE)多模态模型,采用混合注意力 + SSM 的 qwen35moe 架构,支持最高 262,144 tokens 上下文。
  • 三大核心能力:
    • Agentic Orchestration(智能体编排):把复杂任务拆解给多个子智能体并行执行,各自拥有独立上下文;
    • Verification Mode(验证模式):模型在推理中途自动"暂停自查",检查已确认与失败的证据,再修订策略,无需外部评审器;
    • Open Scientific Discovery(开放式科学发现):不止回答预设问题,还能开展探索式研究并产出可检查的研究工件。
  • 工具调用:原生支持 function calling,可无缝对接搜索、代码解释器、API 等外部工具。

本仓库提供两个文件(详见 README.md 的 "Provided Files" 一节):

文件 说明 大小
Sage-A1.5-Q8_0.gguf 语言模型,Q8_0 量化(含 MoE 权重与内置 MTP 层) 37.8 GB
Sage-A1.5-mmproj.gguf 视觉投影器,支持图片输入 0.9 GB

💡 Q8_0 属于"近无损"量化:官方基准分数是在 BF16 全精度权重上测得的,Q8_0 与其偏差极小,放心用于评测复现。

二、统一 Agent 评测协议:六大方向一次看懂

官方把评测划分为 6 大方向、16+ 项基准,全部通过同一套开源框架完成。核心结论:Sage-A1.5 在多个基准上取得整体 SOTA(🥇),并在同规模(~35B)模型中广泛领先(🟢)。

评测方向 代表基准 Sage-A1.5 得分
🔍 长程搜索 GAIA / BrowseComp / XBench-DS-2510 95.1 / 81.7 / 92.0 🥇
⚙️ 工程任务 SWE-bench Pro / MLE-Lite / SciCode 61.2 🟢 / 65.2 🟢 / 44.3 🟢
📋 指令遵循 IFBench / AA-LCR 81.6 🥇 / 81.0 🟢
🧪 科学研究 FrontierScience-Research / CMT 48.3 🥇 / 80.0 🥇
🤖 通用智能体任务 PinchBench / VitaBench 90.0 🥇 / 45.4 🟢
🔬 科学智能体任务 ChemCOTBench / OmniDocBench 66.5 🟢 / 91.5 🥇

几个值得注意的亮点:

  • GAIA 95.1:超过所有更大规模对比模型;
  • SWE-bench Pro 较前代 A1 提升 +17.6、MLE-Lite +21.3,工程与智能体负载进步显著;
  • 所有数字都可用开源评测框架复现。

三、评测协议的关键设计(保证公平可复现)

官方开源了统一评测代码库(位于 Sage-A1 项目的 Sage-A1/evaluation 目录),Model Card 上的所有分数均由该框架产出。协议要点如下:

  1. 同一套代码、同一套指标:模型需完成"理解目标 → 拆解指令 → 调用工具/交互环境 → 产出最终结果"的完整闭环,任务定义、指标与复现说明全部随代码开源;
  2. 对比数据口径统一:竞品分数优先引用其原始技术报告;未报告的基准则用相同评测协议实测,避免"各说各话";
  3. 标准化推理设置:
    • SWE-bench 系列使用 mini-SWE-agent 框架,temperature=1.0、top_p=0.95、200K 上下文、自动上下文压缩,且在完全离线环境中运行;
    • 通用推荐采样参数:temperature 1.0、top_p 0.95、top_k 20、min_p 0.0、presence_penalty 1.5、repetition_penalty 1.0。

四、复现步骤:从零跑通智能体评测

第 1 步:获取模型权重

git clone https://gitcode.com/InternScience/Sage-A1.5-Q8_0-GGUF

硬件参考:Q8_0 权重约 35.2 GiB + 视觉投影器 0.84 GiB,再加 KV 缓存。单张 48 GB 显卡可舒适运行中等上下文;显存不足时可用 --tensor-split 多卡切分,或调低 -ngl 把部分层放到 CPU。

第 2 步:用 GGUF 运行时部署模型

三个主流运行时均可,注意必须使用支持 qwen35moe 架构的新版本:

  • llama.cpp(推荐,评测复现首选):

    ./build/bin/llama-server \
      -m Sage-A1.5-Q8_0.gguf \
      --mmproj Sage-A1.5-mmproj.gguf \
      --alias Sage-A1.5-Q8_0 \
      -ngl 99 -fa on -c 65536 \
      --port 8000 --jinja \
      --reasoning-format deepthink
    

    关键点:--jinja 启用内置聊天模板(含 function calling),--reasoning-format deepthink 把模型自查过程留在 reasoning_content 中,与最终答案分离——这对评测时解析自验证轨迹很重要。

  • Ollama:写一个 Modelfile(内容为 FROM ./Sage-A1.5-Q8_0.gguf)后 ollama create 即可;

  • LM Studio:把两个 GGUF 文件放在一起,视觉投影器会被自动识别,适合快速体验。

第 3 步:跑通 Agent 评测框架

  1. 获取 Sage-A1 开源项目,进入 Sage-A1/evaluation 评测目录,按其中说明准备任务集与运行环境;
  2. 将框架的后端指向第 2 步启动的 OpenAI 兼容端点(http://localhost:8000/v1);
  3. 按需启用两个可选模式:
    • Agentic Orchestration:向模型注册 spawn_subagent 工具即可开启,子任务并行执行并返回结构化 JSON({answer, status, evidence, unresolved_issues});
    • Verification Mode:请求中通过 chat_template_kwargs 传入 {"verification": true}(注意必须是 JSON 布尔值,且 system 消息不能为空),模型就会在同一次回复中完成自查与修订。
  4. 按官方指标汇总得分,与 Model Card 数字对照即完成复现 ✅。

五、常见问题(FAQ)

Q1:为什么我的结果和官方分数有偏差? 先核对三件事:采样参数是否一致、是否使用了支持 qwen35moe 的新版运行时、工具/离线环境是否与协议要求一致。Q8_0 与 BF16 的差距本身极小,偏差主要来自运行配置。

Q2:只想测文本能力,能不要视觉文件吗? 可以。Sage-A1.5-mmproj.gguf 可整体跳过,语言模型独立工作,且省下的显存可分配给更长的 -c 上下文。

Q3:评测必须联网吗? SWE-bench 系列协议明确要求完全离线运行;其余基准按各自任务要求准备数据即可。

Q4:旧版本 llama.cpp / Ollama 加载失败怎么办? 老版本不认识 qwen35moe 架构,请升级到最新版或从源码重新构建。

六、总结

  • Sage-A1.5 智能体评测的核心价值:一套开源框架 + 统一协议,让 16+ 项基准分数可复现、可对比、可扩展;
  • 本仓库的 Q8_0 GGUF 权重近无损,单机 48 GB 显卡即可完整跑起被测模型;
  • 复现路径只有三步:获取权重 → llama.cpp/Ollama/LM Studio 部署 → 接入 Sage-A1/evaluation 框架;
  • 你也可以基于同一协议评测自己的模型,把新任务加入这个不断扩展的智能体基准体系中。

📄 更多细节(文件清单、高级模式说明、引用信息)见 README.md 的 "Agent Capability Evaluation" 与 "Usage" 章节。

登录后查看全文
Sage-A1.5-Q8_0-GGUF