复现Sage-A1.5官方评测:智能体评估开源框架实战指南

原创2026-10-22 23:32:061,926 阅读
文章标签:人工智能大模型本地部署模型量化多模态AI Agent

复现Sage-A1.5官方评测:智能体评估开源框架实战指南

本文带你从零复现 Sage-A1.5 的官方智能体评测:先本地跑通 Sage-A1.5-Q4_K_M GGUF 量化权重,再用官方开源的智能体评估框架(Agent Evaluation Framework)完成标准化、可复现的智能体评估,并理解每个关键配置的作用,适合刚接触本地大模型部署与模型评测的新手。

🏁 先看评测成绩单:Sage-A1.5 官方基准成绩总览

Sage-A1.5 是一款 35B 规模的 Mixture-of-Experts(MoE)智能体模型,核心能力是长程任务执行、工具调用与科学推理。官方在六大方向上做了系统评测:长程搜索、工程任务、指令遵循、科学研究、通用智能体任务与科学智能体任务。整体来看,它在 XBench-DS-2510(92.0)、IFBench(81.6)、PinchBench(90.0)、GAIA(95.1)等多个基准上取得了同规模甚至更强于大参数量模型的 SOTA 成绩。

Sage-A1.5 智能体评估基准评测成绩图:涵盖 GAIA、IFBench、SWE-bench Pro、FrontierScience 等智能体与科研基准分数对比

注意:以上数字来自 BF16 全精度权重的官方评测结果,Q4_K_M 量化版会略有精度损失,复现时请以官方报告为参照基准。

📦 仓库里有什么:两个 GGUF 文件速览

本仓库 README.md 提供了可直接下载部署的 GGUF 权重,共两个文件:

文件 说明 大小
Sage-A1.5-Q4_K_M.gguf 语言模型主权重,Q4_K_M 量化(含 MoE 权重与内置 MTP 层) 21.7 GB
Sage-A1.5-mmproj.gguf 视觉投影器,用于图像等多模态输入 0.9 GB

三个要点:

  • 两个文件采用 qwen35moe 架构(混合注意力 + SSM MoE),必须使用较新版本的 llama.cpp / Ollama / LM Studio,旧版本无法加载;
  • 只做文本部署可以完全跳过 mmproj 文件,主模型可独立工作;
  • 显存占用约 20.2 GiB 权重 + 0.84 GiB 投影器 + KV 缓存,单张 24 GB 显卡即可在中等上下文长度下运行。

⚡ 一键部署:三种方式本地跑通 Sage-A1.5

方式一:llama.cpp(推荐,复现评测首选)

先通过包管理器或源码安装新版 llama.cpp,然后用 llama-server 启动一个 OpenAI 兼容的 API 服务:

./build/bin/llama-server \
  -m Sage-A1.5-Q4_K_M.gguf \
  --mmproj Sage-A1.5-mmproj.gguf \
  --alias Sage-A1.5-Q4_K_M \
  -ngl 99 -fa on -c 65536 \
  --port 8000 \
  --jinja \
  --reasoning-format deepthink

两个关键参数的作用:

  • --jinja:启用模型内置 chat template,开启函数调用(function calling)支持,是智能体评测的前提;
  • --reasoning-format deepthink:把模型的自我审查(Self-review)保留在 reasoning_content 中,与最终答案 content 分离,方便评估框架分别读取。

显存充裕时可把 -c(上下文长度)调到 131072,甚至更高(模型最长支持 262,144 tokens);显存紧张时调低 -ngl 把部分层卸载到 CPU。

方式二:Ollama(最省事)

printf 'FROM ./Sage-A1.5-Q4_K_M.gguf\n' > Modelfile
ollama create sage-a1.5 -f Modelfile
ollama run sage-a1.5

同样要求 Ollama 版本支持 qwen35moe 架构,视觉(mmproj)导入能力因版本而异,以 Ollama 官方文档为准。

方式三:LM Studio(零命令行)

在 LM Studio 中搜索 Sage-A1.5 Q4_K_M,或把两个 GGUF 文件放到 ~/.lmstudio/models/ 下同一目录。LM Studio 会自动检测旁边的 mmproj 文件,聊天界面可直接附加图片。

🎯 复现官方评测:推荐采样参数与关键配置

智能体模型对采样参数比较敏感。官方推荐的生成质量最优参数如下(调用 OpenAI 兼容接口时放在请求体中即可):

参数 推荐值 说明
temperature 1.0 保持探索性,适合多步推理
top_p 0.95 与 temperature 搭配使用
top_k 20 限制候选词范围
min_p 0.0 默认关闭
presence_penalty 1.5 抑制重复表达
repetition_penalty 1.0 llama.cpp 系运行时对应 repeat_penalty

官方智能体评估采用标准化、可复现的评测设置:模型需要理解用户目标、拆解复杂指令、在必要时与环境或工具交互,最后产出结果。评测结果(Model Card 中的成绩)就是用开源框架生成的,因此任何人都可以在同一协议下复现实验、对比其他模型。评测代码开源在 Sage-A1 的 Agents-A1 仓库 evaluation/ 目录中,包含详细的评测脚本、任务定义、指标与复现说明。

🧪 智能体评估框架的两大进阶模式

Sage-A1.5 内置两个默认关闭(opt-in)的智能体模式,也是复现高级评测场景的关键:

1️⃣ Agentic Orchestration(智能体编排模式)

通过向模型注册一个 spawn_subagent 工具来开启。当任务可拆解为若干独立子问题时,模型会并行派发多个子智能体,每个子智能体拥有独立的上下文窗口和工具集,互不干扰,最后以结构化 JSON({answer, status, evidence, unresolved_issues})汇总回主模型。复现时的注意事项:

  • 同一批次的子任务必须相互独立,串行任务要分批调用;
  • 子智能体看不到主对话,task、context、expected_output 三个字段必须写全;
  • 无法解决的子任务会返回 "UNKNOWN" 而非猜测,使用前先检查 status。

2️⃣ Verification Mode(验证模式)

通过请求中的 chat_template_kwargs: {"verification": true} 按请求开启。模型会在推理过程中暂停,审查已确立的证据与失败路径,然后基于修正后的方向继续作答——全程在模型自身思维链内完成,无需外部批评者。两个易踩的坑:

  • 必须提供非空 system message(触发词会追加到 system 末尾),否则请求会被 400 拒绝;
  • 传 JSON 布尔值 true,而不是字符串 "true"。
curl http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Sage-A1.5-Q4_K_M",
    "messages": [
      {"role": "system", "content": "You are a helpful assistant."},
      {"role": "user", "content": "Find the population of Shanghai and cross-check it."}
    ],
    "chat_template_kwargs": {"verification": true}
  }'

⚠️ 常见坑与排查清单

现象 原因与解决
模型文件加载失败 运行时版本过旧,不支持 qwen35moe 架构,请升级到最新 llama.cpp / Ollama / LM Studio
多模态不生效 mmproj 未自动检测时,llama.cpp 需显式传 --mmproj Sage-A1.5-mmproj.gguf
验证模式返回 400 缺少 system message,或 verification 传了字符串
输出与答案混在一起 启动服务时未加 --reasoning-format deepthink,自我审查无法与 content 分离
显存不足 调低 -ngl 卸载层到 CPU,或纯文本模式跳过 mmproj 以释放显存给更长上下文

📌 总结:复现路线一图流

  1. 下载权重:获取 Sage-A1.5-Q4_K_M.gguf(必选)与 Sage-A1.5-mmproj.gguf(多模态才需要);
  2. 本地部署:用新版 llama.cpp 的 llama-server 起 OpenAI 兼容服务,务必带上 --jinja 与 --reasoning-format deepthink;
  3. 对齐参数:按推荐采样参数表配置请求;
  4. 进阶场景:按需开启 Agentic Orchestration(注册 spawn_subagent 工具)或 Verification Mode(chat_template_kwargs);
  5. 跑评测:使用 Agents-A1 仓库 evaluation/ 目录下的开源智能体评估框架,在同一协议下复现官方分数或横向对比其他模型。

完成以上五步,你就拥有了与官方 Model Card 完全一致的评测环境——从部署到评估,全流程开源、可复现、可扩展。

登录后查看全文
Sage-A1.5-Q4_K_M-GGUF