Sage-A1.5-F16-GGUF性能全面解读:GAIA 95.1、SWE-bench Pro等18项基准榜单深度分析

原创2026-10-22 20:24:202,000 阅读
文章标签:大模型基础模型多模态本地部署AI Agent

Sage-A1.5-F16-GGUF性能全面解读:GAIA 95.1、SWE-bench Pro等18项基准榜单深度分析

Sage-A1.5-F16-GGUF 是 InternScience 开源的 Sage-A1.5(35B MoE Agentic 大模型)官方 GGUF 格式权重仓库,提供 F16 无损精度的语言模型与视觉投影器文件,可直接用于 llama.cpp、Ollama、LM Studio 等本地部署。Sage-A1.5 在 GAIA 上取得 95.1 分、SWE-bench Pro 61.2 分,并在多项基准上刷新同规模记录。本文带你完整解读它六大方向的基准成绩、对比前沿大模型的表现,以及 F16 GGUF 部署的关键要点。

🚀 先搞清楚:Sage-A1.5 是什么模型

Sage-A1.5 是由 InternScience 推出的 35B 参数混合专家(Mixture-of-Experts, MoE)Agentic 模型,建立在 Agents-A1 之上,主打"长程任务求解"能力。它不只是回答问题,更强调在执行过程中组织工作、动态调整策略,核心亮点包括:

  • Agentic Orchestration(智能体编排):把复杂任务拆解后委派给多个带独立上下文的子智能体并行执行;
  • Verification Mode(验证模式):模型在思考链中自我暂停复盘,识别无效路径并换方向,无需外部评审模型;
  • 开放科学发现:从"回答预设问题"延伸到"自主探索式研究";
  • 原生工具调用:支持函数调用,可对接 API、代码解释器、搜索引擎等外部工具。

本仓库 Sage-A1.5-F16-GGUF 提供的是 F16(未量化、无损)GGUF 权重——不经过有损压缩,完整保留了原始模型精度,适合希望本地跑出"原汁原味"效果的用户。

📊 完整榜单:六大方向基准全景

官方评测覆盖 长程搜索、工程任务、指令遵循、科学研究、通用 Agentic、科学 Agentic 六大方向,对比对象包括同规模模型(Agents-A1、Ornith-1.5)与更大规模的前沿系统(Kimi-K3、GLM-5.3、GPT-5.6-sol)。图例:🥇 = 总体第一;🟢 = 约 35B 同规模最佳。

🔍 长程搜索(Long-horizon Search)

基准 Sage-A1.5 Agents-A1 Ornith-1.5 Kimi-K3 GLM-5.3 GPT-5.6-sol
GAIA 95.1 96.0 🥇 77.6 92.2 92.2 88.3
BrowseComp 81.7(编排 82.8)🟢 75.5 67.6 91.2 🥇 76.2 90.4
DeepResearch-Bench2 43.7(编排 47.5) 37.5 48.6 🟢 52.4 55.7 57.9 🥇
XBench-DS-2510 92.0 🥇 86.0 80.0 85.0 84.0 90.0

⚙️ 工程任务(Engineering Tasks)

基准 Sage-A1.5 Agents-A1 Ornith-1.5 Kimi-K3 GLM-5.3 GPT-5.6-sol
MLE-Lite 65.2 🟢 43.9 39.4 72.7 72.7 77.3 🥇
SciCode 44.3 🟢 44.3 39.5 58.7 59.0 🥇 56.1
SWE-bench Pro 61.2 🟢 43.6 59.6 63.3 64.6 64.6 🥇
SWE-bench Multilingual 72.7 🟢 58.7 71.4 80.8 81.3 🥇 74.1

📋 指令遵循(Instruction Following)

基准 Sage-A1.5 Agents-A1 Ornith-1.5 Kimi-K3 GLM-5.3 GPT-5.6-sol
IFBench 81.6 🥇 80.6 44.6 72.1 53.4 72.7
AA-LCR 81.0 🟢 74.2 73.2 88.7 🥇 79.7 84.0

🧪 科学研究(Scientific Research)

基准 Sage-A1.5 Agents-A1 Ornith-1.5 Kimi-K3 GLM-5.3 GPT-5.6-sol
FrontierScience-Olympiad 81.0 🥇 79.0 70.0 69.0 67.0 73.0
FrontierScience-Research 48.3 🥇 40.0 6.7 21.7 16.7 26.7
HiPhO 45.3 46.4 🥇 39.5 42.4 39.7 46.2
HLE w/ tools 55.1 🟢 47.6 33.4 56.0 62.5 64.5 🥇
CMT 80.0 🥇 72.0 26.0 34.0 40.0 50.0
CritPt 20.0 🟢 4.3 2.9 23.4 19.1 32.3 🥇

🤖 通用 Agentic 任务(General Agentic Tasks)

基准 Sage-A1.5 Agents-A1 Ornith-1.5 Kimi-K3 GLM-5.3 GPT-5.6-sol
ALE-CLI 19.1 🟢 10.2 14.3 27.6 28.5 28.6 🥇
VitaBench 45.4 🟢 38.7 44.6 59.0 🥇 58.7 46.8
PinchBench 90.0 🥇 76.9 88.6 88.2 86.6 87.3

🔬 科学 Agentic 任务(Scientific Agentic Tasks)

基准 Sage-A1.5 Agents-A1 Ornith-1.5 Kimi-K3 GLM-5.3 GPT-5.6-sol
ChemCOTBench 66.5 🟢 64.0 53.8 82.5 🥇 78.3 77.9
MatTools 42.6 47.1 🟢 38.6 24.3 53.2 🥇 45.6
OmniDocBench 91.5 🥇 89.5 89.6 91.1 - 85.8

📌 注:GLM-5.3 为纯文本模型,无法参与多模态基准 OmniDocBench,故其结果未报告。

🏆 重点成绩解读:GAIA 95.1 意味着什么

GAIA 是考察长程搜索与推理的经典基准。Sage-A1.5 仅以 35B 的参数量拿下 95.1 分,高于所有参与对比的更大规模模型:Kimi-K3(92.2)、GLM-5.3(92.2)、GPT-5.6-sol(88.3)。这意味着在"找答案、多步验证"这类 Agent 核心场景里,Sage-A1.5 已经追平甚至超过前沿闭源大模型——对想本地部署 Agent 的用户来说,这是最有吸引力的一组数字。

同系列上代模型 Agents-A1 在 GAIA 拿到 96.0(榜单最高分),A1.5 与其基本持平,说明长程搜索能力是一脉相承的强项。

🔧 工程能力解读:SWE-bench Pro 61.2 分

SWE-bench Pro 考察模型在真实软件工程场景(读代码库、改代码、过测试)中的表现,是衡量"AI 程序员"成色的硬指标。Sage-A1.5 拿到 61.2 分,位列约 35B 同规模第一,与更大规模的 GPT-5.6-sol、GLM-5.3(64.6)差距很小。

更值得注意的是相对上代的跃升:相比 Agents-A1(43.6 分)提升 +17.6 分。官方使用 mini-SWE-agent 评测框架、temperature 1.0、top-p 0.95、200K 上下文窗口、完全离线环境完成测试,结果可复现。

📈 从 A1 到 A1.5:提升幅度最大的四个方向

基准 Agents-A1 Sage-A1.5 提升
MLE-Lite 43.9 65.2 +21.3
SWE-bench Pro 43.6 61.2 +17.6
SWE-bench Multilingual 58.7 72.7 +14.0
PinchBench 76.9 90.0 +13.1

机器学习工程(MLE-Lite)和软件工程(SWE-bench 系列)是 A1.5 版本迭代的重心,多语言代码任务与通用 Agent 任务同步大幅提升,说明新一代模型在"写代码—验证—再修正"的长程工作流上明显更可靠。

🥇 总体 SOTA 清单:七项基准全场第一

Sage-A1.5 在以下七个基准上击败所有对比模型(含前沿大模型)拿到总分第一:

  • XBench-DS-2510:92.0(深度搜索)
  • IFBench:81.6(多约束指令遵循)
  • PinchBench:90.0(通用 Agent 任务)
  • FrontierScience-Olympiad:81.0(科学竞赛)
  • FrontierScience-Research:48.3(科研探索,领先优势最大)
  • CMT:80.0(多模态工具任务)
  • OmniDocBench:91.5(文档理解)

其中 FrontierScience-Research 的 48.3 分是断层式领先(第二名仅 26.7),体现了"开放科学发现"这一差异化卖点;IFBench 81.6 分也说明它对复杂、多约束指令的执行相当稳定。

💾 F16 GGUF 文件与部署要点

本仓库包含两个文件(详见 README.md):

文件 说明 大小
Sage-A1.5-F16.gguf 语言模型,F16 无损格式(MoE 权重 + 内置 MTP 层) 71.1 GB
Sage-A1.5-mmproj.gguf 视觉投影器,用于多模态(图片)输入 0.9 GB

部署前需要知道的关键信息:

  • ⚠️ 架构要求:GGUF 使用 qwen35moe 架构(混合注意力 + SSM MoE),需要支持该架构的较新版本 llama.cpp / Ollama / LM Studio,老版本无法加载;
  • 🧠 显存需求:权重约占 66.2 GiB,加上投影器约 0.84 GiB,再加 KV cache。建议 2×48 GB 双卡、单张 96 GB 显卡,或至少 96 GB 统一内存的 Apple 芯片 Mac;
  • 🖼️ 多模态是可选的:纯文本部署可直接跳过 mmproj 文件;LM Studio 等运行时会把 mmproj 放在主 GGUF 旁边自动识别,llama.cpp 则用 --mmproj 显式指定;
  • 🔁 无损精度:F16 不做量化压缩,官方报告的全部基准成绩在原始精度权重上成立,F16 转换完整保留精度。

📥 快速开始:下载与启动

git clone https://gitcode.com/InternScience/Sage-A1.5-F16-GGUF

用 llama.cpp 的 llama-server 启动一个 OpenAI 兼容 API 服务(多模态版示例):

./build/bin/llama-server -m Sage-A1.5-F16.gguf \
  --mmproj Sage-A1.5-mmproj.gguf -ngl 99 -fa on \
  -c 65536 --port 8000 --jinja --reasoning-format deepthink

Ollama 用户只需三步:

printf 'FROM ./Sage-A1.5-F16.gguf\n' > Modelfile
ollama create sage-a1.5-f16 -f Modelfile
ollama run sage-a1.5-f16

LM Studio 中搜索 Sage-A1.5 F16 或把两个文件放入 ~/.lmstudio/models/ 目录即可,聊天界面可直接附加图片。

官方推荐采样参数(生成质量最佳):

参数 推荐值
temperature 1.0
top_p 0.95
top_k 20
min_p 0.0
presence_penalty 1.5
repetition_penalty 1.0

🎯 两个进阶模式:编排与验证

Sage-A1.5 还内置了两个默认关闭的进阶能力,适合有 Agent 开发经验的用户:

  • Agentic Orchestration Mode:向模型注册 spawn_subagent 工具即可开启。模型遇到可拆解的复杂任务时,会把子问题并行分发给独立子智能体,各自带独立上下文和工具,返回结构化 JSON 结果再汇总——BrowseComp 从 81.7 提到 82.8、DeepResearch-Bench2 从 43.7 提到 47.5 就来自这个模式;
  • Verification Mode:在请求的 chat_template_kwargs 中传入布尔值 {"verification": true} 即可开启,模型会在思考链中自我复盘并修正方向。注意需要非空 system 消息,且自检内容会输出在 reasoning_content 字段中。

✅ 总结:谁适合 Sage-A1.5-F16-GGUF?

强烈推荐:想要本地运行"准前沿级"Agent 能力、显存/内存充足(双 48G 或 96G 级别)的团队和开发者;需要离线部署(SWE-bench 系列评测即完全离线)、重视长程搜索与科研推理场景的用户。

需谨慎:显存低于 48 GB 的单机——F16 无损权重体积较大,且必须使用支持 qwen35moe 架构的较新运行时。

一句话评价:Sage-A1.5-F16-GGUF 让 35B 级模型在 GAIA、SWE-bench Pro 等 18 项以上核心基准中交出了"小模型大能量"的成绩单——用可控的本地部署成本,换来了逼近前沿大模型的 Agentic 工程与科研能力。

登录后查看全文
Sage-A1.5-F16-GGUF