复现Sage-A1.5官方评测:智能体评估开源框架实战指南
复现Sage-A1.5官方评测:智能体评估开源框架实战指南
本文带你从零复现 Sage-A1.5 的官方智能体评测:先本地跑通 Sage-A1.5-Q4_K_M GGUF 量化权重,再用官方开源的智能体评估框架(Agent Evaluation Framework)完成标准化、可复现的智能体评估,并理解每个关键配置的作用,适合刚接触本地大模型部署与模型评测的新手。
🏁 先看评测成绩单:Sage-A1.5 官方基准成绩总览
Sage-A1.5 是一款 35B 规模的 Mixture-of-Experts(MoE)智能体模型,核心能力是长程任务执行、工具调用与科学推理。官方在六大方向上做了系统评测:长程搜索、工程任务、指令遵循、科学研究、通用智能体任务与科学智能体任务。整体来看,它在 XBench-DS-2510(92.0)、IFBench(81.6)、PinchBench(90.0)、GAIA(95.1)等多个基准上取得了同规模甚至更强于大参数量模型的 SOTA 成绩。
注意:以上数字来自 BF16 全精度权重的官方评测结果,Q4_K_M 量化版会略有精度损失,复现时请以官方报告为参照基准。
📦 仓库里有什么:两个 GGUF 文件速览
本仓库 README.md 提供了可直接下载部署的 GGUF 权重,共两个文件:
| 文件 | 说明 | 大小 |
|---|---|---|
| Sage-A1.5-Q4_K_M.gguf | 语言模型主权重,Q4_K_M 量化(含 MoE 权重与内置 MTP 层) | 21.7 GB |
| Sage-A1.5-mmproj.gguf | 视觉投影器,用于图像等多模态输入 | 0.9 GB |
三个要点:
- 两个文件采用
qwen35moe架构(混合注意力 + SSM MoE),必须使用较新版本的 llama.cpp / Ollama / LM Studio,旧版本无法加载; - 只做文本部署可以完全跳过 mmproj 文件,主模型可独立工作;
- 显存占用约 20.2 GiB 权重 + 0.84 GiB 投影器 + KV 缓存,单张 24 GB 显卡即可在中等上下文长度下运行。
⚡ 一键部署:三种方式本地跑通 Sage-A1.5
方式一:llama.cpp(推荐,复现评测首选)
先通过包管理器或源码安装新版 llama.cpp,然后用 llama-server 启动一个 OpenAI 兼容的 API 服务:
./build/bin/llama-server \
-m Sage-A1.5-Q4_K_M.gguf \
--mmproj Sage-A1.5-mmproj.gguf \
--alias Sage-A1.5-Q4_K_M \
-ngl 99 -fa on -c 65536 \
--port 8000 \
--jinja \
--reasoning-format deepthink
两个关键参数的作用:
--jinja:启用模型内置 chat template,开启函数调用(function calling)支持,是智能体评测的前提;--reasoning-format deepthink:把模型的自我审查(Self-review)保留在reasoning_content中,与最终答案content分离,方便评估框架分别读取。
显存充裕时可把 -c(上下文长度)调到 131072,甚至更高(模型最长支持 262,144 tokens);显存紧张时调低 -ngl 把部分层卸载到 CPU。
方式二:Ollama(最省事)
printf 'FROM ./Sage-A1.5-Q4_K_M.gguf\n' > Modelfile
ollama create sage-a1.5 -f Modelfile
ollama run sage-a1.5
同样要求 Ollama 版本支持 qwen35moe 架构,视觉(mmproj)导入能力因版本而异,以 Ollama 官方文档为准。
方式三:LM Studio(零命令行)
在 LM Studio 中搜索 Sage-A1.5 Q4_K_M,或把两个 GGUF 文件放到 ~/.lmstudio/models/ 下同一目录。LM Studio 会自动检测旁边的 mmproj 文件,聊天界面可直接附加图片。
🎯 复现官方评测:推荐采样参数与关键配置
智能体模型对采样参数比较敏感。官方推荐的生成质量最优参数如下(调用 OpenAI 兼容接口时放在请求体中即可):
| 参数 | 推荐值 | 说明 |
|---|---|---|
temperature |
1.0 | 保持探索性,适合多步推理 |
top_p |
0.95 | 与 temperature 搭配使用 |
top_k |
20 | 限制候选词范围 |
min_p |
0.0 | 默认关闭 |
presence_penalty |
1.5 | 抑制重复表达 |
repetition_penalty |
1.0 | llama.cpp 系运行时对应 repeat_penalty |
官方智能体评估采用标准化、可复现的评测设置:模型需要理解用户目标、拆解复杂指令、在必要时与环境或工具交互,最后产出结果。评测结果(Model Card 中的成绩)就是用开源框架生成的,因此任何人都可以在同一协议下复现实验、对比其他模型。评测代码开源在 Sage-A1 的 Agents-A1 仓库 evaluation/ 目录中,包含详细的评测脚本、任务定义、指标与复现说明。
🧪 智能体评估框架的两大进阶模式
Sage-A1.5 内置两个默认关闭(opt-in)的智能体模式,也是复现高级评测场景的关键:
1️⃣ Agentic Orchestration(智能体编排模式)
通过向模型注册一个 spawn_subagent 工具来开启。当任务可拆解为若干独立子问题时,模型会并行派发多个子智能体,每个子智能体拥有独立的上下文窗口和工具集,互不干扰,最后以结构化 JSON({answer, status, evidence, unresolved_issues})汇总回主模型。复现时的注意事项:
- 同一批次的子任务必须相互独立,串行任务要分批调用;
- 子智能体看不到主对话,
task、context、expected_output三个字段必须写全; - 无法解决的子任务会返回
"UNKNOWN"而非猜测,使用前先检查status。
2️⃣ Verification Mode(验证模式)
通过请求中的 chat_template_kwargs: {"verification": true} 按请求开启。模型会在推理过程中暂停,审查已确立的证据与失败路径,然后基于修正后的方向继续作答——全程在模型自身思维链内完成,无需外部批评者。两个易踩的坑:
- 必须提供非空 system message(触发词会追加到 system 末尾),否则请求会被 400 拒绝;
- 传 JSON 布尔值
true,而不是字符串"true"。
curl http://localhost:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "Sage-A1.5-Q4_K_M",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Find the population of Shanghai and cross-check it."}
],
"chat_template_kwargs": {"verification": true}
}'
⚠️ 常见坑与排查清单
| 现象 | 原因与解决 |
|---|---|
| 模型文件加载失败 | 运行时版本过旧,不支持 qwen35moe 架构,请升级到最新 llama.cpp / Ollama / LM Studio |
| 多模态不生效 | mmproj 未自动检测时,llama.cpp 需显式传 --mmproj Sage-A1.5-mmproj.gguf |
| 验证模式返回 400 | 缺少 system message,或 verification 传了字符串 |
| 输出与答案混在一起 | 启动服务时未加 --reasoning-format deepthink,自我审查无法与 content 分离 |
| 显存不足 | 调低 -ngl 卸载层到 CPU,或纯文本模式跳过 mmproj 以释放显存给更长上下文 |
📌 总结:复现路线一图流
- 下载权重:获取 Sage-A1.5-Q4_K_M.gguf(必选)与 Sage-A1.5-mmproj.gguf(多模态才需要);
- 本地部署:用新版 llama.cpp 的
llama-server起 OpenAI 兼容服务,务必带上--jinja与--reasoning-format deepthink; - 对齐参数:按推荐采样参数表配置请求;
- 进阶场景:按需开启 Agentic Orchestration(注册
spawn_subagent工具)或 Verification Mode(chat_template_kwargs); - 跑评测:使用 Agents-A1 仓库
evaluation/目录下的开源智能体评估框架,在同一协议下复现官方分数或横向对比其他模型。
完成以上五步,你就拥有了与官方 Model Card 完全一致的评测环境——从部署到评估,全流程开源、可复现、可扩展。
