Sage-A1.5-F16-GGUF性能全面解读:GAIA 95.1、SWE-bench Pro等18项基准榜单深度分析
Sage-A1.5-F16-GGUF性能全面解读:GAIA 95.1、SWE-bench Pro等18项基准榜单深度分析
Sage-A1.5-F16-GGUF 是 InternScience 开源的 Sage-A1.5(35B MoE Agentic 大模型)官方 GGUF 格式权重仓库,提供 F16 无损精度的语言模型与视觉投影器文件,可直接用于 llama.cpp、Ollama、LM Studio 等本地部署。Sage-A1.5 在 GAIA 上取得 95.1 分、SWE-bench Pro 61.2 分,并在多项基准上刷新同规模记录。本文带你完整解读它六大方向的基准成绩、对比前沿大模型的表现,以及 F16 GGUF 部署的关键要点。
🚀 先搞清楚:Sage-A1.5 是什么模型
Sage-A1.5 是由 InternScience 推出的 35B 参数混合专家(Mixture-of-Experts, MoE)Agentic 模型,建立在 Agents-A1 之上,主打"长程任务求解"能力。它不只是回答问题,更强调在执行过程中组织工作、动态调整策略,核心亮点包括:
- Agentic Orchestration(智能体编排):把复杂任务拆解后委派给多个带独立上下文的子智能体并行执行;
- Verification Mode(验证模式):模型在思考链中自我暂停复盘,识别无效路径并换方向,无需外部评审模型;
- 开放科学发现:从"回答预设问题"延伸到"自主探索式研究";
- 原生工具调用:支持函数调用,可对接 API、代码解释器、搜索引擎等外部工具。
本仓库 Sage-A1.5-F16-GGUF 提供的是 F16(未量化、无损)GGUF 权重——不经过有损压缩,完整保留了原始模型精度,适合希望本地跑出"原汁原味"效果的用户。
📊 完整榜单:六大方向基准全景
官方评测覆盖 长程搜索、工程任务、指令遵循、科学研究、通用 Agentic、科学 Agentic 六大方向,对比对象包括同规模模型(Agents-A1、Ornith-1.5)与更大规模的前沿系统(Kimi-K3、GLM-5.3、GPT-5.6-sol)。图例:🥇 = 总体第一;🟢 = 约 35B 同规模最佳。
🔍 长程搜索(Long-horizon Search)
| 基准 | Sage-A1.5 | Agents-A1 | Ornith-1.5 | Kimi-K3 | GLM-5.3 | GPT-5.6-sol |
|---|---|---|---|---|---|---|
| GAIA | 95.1 | 96.0 🥇 | 77.6 | 92.2 | 92.2 | 88.3 |
| BrowseComp | 81.7(编排 82.8)🟢 | 75.5 | 67.6 | 91.2 🥇 | 76.2 | 90.4 |
| DeepResearch-Bench2 | 43.7(编排 47.5) | 37.5 | 48.6 🟢 | 52.4 | 55.7 | 57.9 🥇 |
| XBench-DS-2510 | 92.0 🥇 | 86.0 | 80.0 | 85.0 | 84.0 | 90.0 |
⚙️ 工程任务(Engineering Tasks)
| 基准 | Sage-A1.5 | Agents-A1 | Ornith-1.5 | Kimi-K3 | GLM-5.3 | GPT-5.6-sol |
|---|---|---|---|---|---|---|
| MLE-Lite | 65.2 🟢 | 43.9 | 39.4 | 72.7 | 72.7 | 77.3 🥇 |
| SciCode | 44.3 🟢 | 44.3 | 39.5 | 58.7 | 59.0 🥇 | 56.1 |
| SWE-bench Pro | 61.2 🟢 | 43.6 | 59.6 | 63.3 | 64.6 | 64.6 🥇 |
| SWE-bench Multilingual | 72.7 🟢 | 58.7 | 71.4 | 80.8 | 81.3 🥇 | 74.1 |
📋 指令遵循(Instruction Following)
| 基准 | Sage-A1.5 | Agents-A1 | Ornith-1.5 | Kimi-K3 | GLM-5.3 | GPT-5.6-sol |
|---|---|---|---|---|---|---|
| IFBench | 81.6 🥇 | 80.6 | 44.6 | 72.1 | 53.4 | 72.7 |
| AA-LCR | 81.0 🟢 | 74.2 | 73.2 | 88.7 🥇 | 79.7 | 84.0 |
🧪 科学研究(Scientific Research)
| 基准 | Sage-A1.5 | Agents-A1 | Ornith-1.5 | Kimi-K3 | GLM-5.3 | GPT-5.6-sol |
|---|---|---|---|---|---|---|
| FrontierScience-Olympiad | 81.0 🥇 | 79.0 | 70.0 | 69.0 | 67.0 | 73.0 |
| FrontierScience-Research | 48.3 🥇 | 40.0 | 6.7 | 21.7 | 16.7 | 26.7 |
| HiPhO | 45.3 | 46.4 🥇 | 39.5 | 42.4 | 39.7 | 46.2 |
| HLE w/ tools | 55.1 🟢 | 47.6 | 33.4 | 56.0 | 62.5 | 64.5 🥇 |
| CMT | 80.0 🥇 | 72.0 | 26.0 | 34.0 | 40.0 | 50.0 |
| CritPt | 20.0 🟢 | 4.3 | 2.9 | 23.4 | 19.1 | 32.3 🥇 |
🤖 通用 Agentic 任务(General Agentic Tasks)
| 基准 | Sage-A1.5 | Agents-A1 | Ornith-1.5 | Kimi-K3 | GLM-5.3 | GPT-5.6-sol |
|---|---|---|---|---|---|---|
| ALE-CLI | 19.1 🟢 | 10.2 | 14.3 | 27.6 | 28.5 | 28.6 🥇 |
| VitaBench | 45.4 🟢 | 38.7 | 44.6 | 59.0 🥇 | 58.7 | 46.8 |
| PinchBench | 90.0 🥇 | 76.9 | 88.6 | 88.2 | 86.6 | 87.3 |
🔬 科学 Agentic 任务(Scientific Agentic Tasks)
| 基准 | Sage-A1.5 | Agents-A1 | Ornith-1.5 | Kimi-K3 | GLM-5.3 | GPT-5.6-sol |
|---|---|---|---|---|---|---|
| ChemCOTBench | 66.5 🟢 | 64.0 | 53.8 | 82.5 🥇 | 78.3 | 77.9 |
| MatTools | 42.6 | 47.1 🟢 | 38.6 | 24.3 | 53.2 🥇 | 45.6 |
| OmniDocBench | 91.5 🥇 | 89.5 | 89.6 | 91.1 | - | 85.8 |
📌 注:GLM-5.3 为纯文本模型,无法参与多模态基准 OmniDocBench,故其结果未报告。
🏆 重点成绩解读:GAIA 95.1 意味着什么
GAIA 是考察长程搜索与推理的经典基准。Sage-A1.5 仅以 35B 的参数量拿下 95.1 分,高于所有参与对比的更大规模模型:Kimi-K3(92.2)、GLM-5.3(92.2)、GPT-5.6-sol(88.3)。这意味着在"找答案、多步验证"这类 Agent 核心场景里,Sage-A1.5 已经追平甚至超过前沿闭源大模型——对想本地部署 Agent 的用户来说,这是最有吸引力的一组数字。
同系列上代模型 Agents-A1 在 GAIA 拿到 96.0(榜单最高分),A1.5 与其基本持平,说明长程搜索能力是一脉相承的强项。
🔧 工程能力解读:SWE-bench Pro 61.2 分
SWE-bench Pro 考察模型在真实软件工程场景(读代码库、改代码、过测试)中的表现,是衡量"AI 程序员"成色的硬指标。Sage-A1.5 拿到 61.2 分,位列约 35B 同规模第一,与更大规模的 GPT-5.6-sol、GLM-5.3(64.6)差距很小。
更值得注意的是相对上代的跃升:相比 Agents-A1(43.6 分)提升 +17.6 分。官方使用 mini-SWE-agent 评测框架、temperature 1.0、top-p 0.95、200K 上下文窗口、完全离线环境完成测试,结果可复现。
📈 从 A1 到 A1.5:提升幅度最大的四个方向
| 基准 | Agents-A1 | Sage-A1.5 | 提升 |
|---|---|---|---|
| MLE-Lite | 43.9 | 65.2 | +21.3 |
| SWE-bench Pro | 43.6 | 61.2 | +17.6 |
| SWE-bench Multilingual | 58.7 | 72.7 | +14.0 |
| PinchBench | 76.9 | 90.0 | +13.1 |
机器学习工程(MLE-Lite)和软件工程(SWE-bench 系列)是 A1.5 版本迭代的重心,多语言代码任务与通用 Agent 任务同步大幅提升,说明新一代模型在"写代码—验证—再修正"的长程工作流上明显更可靠。
🥇 总体 SOTA 清单:七项基准全场第一
Sage-A1.5 在以下七个基准上击败所有对比模型(含前沿大模型)拿到总分第一:
- XBench-DS-2510:92.0(深度搜索)
- IFBench:81.6(多约束指令遵循)
- PinchBench:90.0(通用 Agent 任务)
- FrontierScience-Olympiad:81.0(科学竞赛)
- FrontierScience-Research:48.3(科研探索,领先优势最大)
- CMT:80.0(多模态工具任务)
- OmniDocBench:91.5(文档理解)
其中 FrontierScience-Research 的 48.3 分是断层式领先(第二名仅 26.7),体现了"开放科学发现"这一差异化卖点;IFBench 81.6 分也说明它对复杂、多约束指令的执行相当稳定。
💾 F16 GGUF 文件与部署要点
本仓库包含两个文件(详见 README.md):
| 文件 | 说明 | 大小 |
|---|---|---|
| Sage-A1.5-F16.gguf | 语言模型,F16 无损格式(MoE 权重 + 内置 MTP 层) | 71.1 GB |
| Sage-A1.5-mmproj.gguf | 视觉投影器,用于多模态(图片)输入 | 0.9 GB |
部署前需要知道的关键信息:
- ⚠️ 架构要求:GGUF 使用
qwen35moe架构(混合注意力 + SSM MoE),需要支持该架构的较新版本 llama.cpp / Ollama / LM Studio,老版本无法加载; - 🧠 显存需求:权重约占 66.2 GiB,加上投影器约 0.84 GiB,再加 KV cache。建议 2×48 GB 双卡、单张 96 GB 显卡,或至少 96 GB 统一内存的 Apple 芯片 Mac;
- 🖼️ 多模态是可选的:纯文本部署可直接跳过 mmproj 文件;LM Studio 等运行时会把 mmproj 放在主 GGUF 旁边自动识别,llama.cpp 则用
--mmproj显式指定; - 🔁 无损精度:F16 不做量化压缩,官方报告的全部基准成绩在原始精度权重上成立,F16 转换完整保留精度。
📥 快速开始:下载与启动
git clone https://gitcode.com/InternScience/Sage-A1.5-F16-GGUF
用 llama.cpp 的 llama-server 启动一个 OpenAI 兼容 API 服务(多模态版示例):
./build/bin/llama-server -m Sage-A1.5-F16.gguf \
--mmproj Sage-A1.5-mmproj.gguf -ngl 99 -fa on \
-c 65536 --port 8000 --jinja --reasoning-format deepthink
Ollama 用户只需三步:
printf 'FROM ./Sage-A1.5-F16.gguf\n' > Modelfile
ollama create sage-a1.5-f16 -f Modelfile
ollama run sage-a1.5-f16
LM Studio 中搜索 Sage-A1.5 F16 或把两个文件放入 ~/.lmstudio/models/ 目录即可,聊天界面可直接附加图片。
官方推荐采样参数(生成质量最佳):
| 参数 | 推荐值 |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 20 |
| min_p | 0.0 |
| presence_penalty | 1.5 |
| repetition_penalty | 1.0 |
🎯 两个进阶模式:编排与验证
Sage-A1.5 还内置了两个默认关闭的进阶能力,适合有 Agent 开发经验的用户:
- Agentic Orchestration Mode:向模型注册
spawn_subagent工具即可开启。模型遇到可拆解的复杂任务时,会把子问题并行分发给独立子智能体,各自带独立上下文和工具,返回结构化 JSON 结果再汇总——BrowseComp 从 81.7 提到 82.8、DeepResearch-Bench2 从 43.7 提到 47.5 就来自这个模式; - Verification Mode:在请求的
chat_template_kwargs中传入布尔值{"verification": true}即可开启,模型会在思考链中自我复盘并修正方向。注意需要非空 system 消息,且自检内容会输出在reasoning_content字段中。
✅ 总结:谁适合 Sage-A1.5-F16-GGUF?
强烈推荐:想要本地运行"准前沿级"Agent 能力、显存/内存充足(双 48G 或 96G 级别)的团队和开发者;需要离线部署(SWE-bench 系列评测即完全离线)、重视长程搜索与科研推理场景的用户。
需谨慎:显存低于 48 GB 的单机——F16 无损权重体积较大,且必须使用支持 qwen35moe 架构的较新运行时。
一句话评价:Sage-A1.5-F16-GGUF 让 35B 级模型在 GAIA、SWE-bench Pro 等 18 项以上核心基准中交出了"小模型大能量"的成绩单——用可控的本地部署成本,换来了逼近前沿大模型的 Agentic 工程与科研能力。