如何开启Sage-A1.5-F16-GGUF验证模式:让模型在思维链中自我审查纠错的完整指南

原创2026-10-22 19:40:361,753 阅读
文章标签:大模型基础模型多模态本地部署AI Agent

如何开启Sage-A1.5-F16-GGUF验证模式:让模型在思维链中自我审查纠错的完整指南

Sage-A1.5-F16-GGUF 是 InternScience 推出的 35B MoE 智能体模型的 F16(未量化)GGUF 版本,专为 llama.cpp、Ollama、LM Studio 等本地部署场景准备。本篇教程聚焦其中的 Verification Mode(验证模式),手把手教你开启这项自我审查、自我纠错能力:模型会在任务执行中途主动停下来,回顾"已经确认了什么、哪里失败了",并在同一轮里改道继续,全程无需外部评审模型。

什么是验证模式:让模型在思维链里"自我纠错"

普通的推理模型往往走错路而不自知,直到最后才暴露错误。而 Sage-A1.5-F16-GGUF 的验证模式是一种选择性开启(opt-in)、直接内嵌在模型思维链中的自审能力:

  • 中途暂停:模型主动停止当前任务流程,不硬着头皮往下推
  • 复盘过程:梳理哪些结论已经坐实、哪些搜索路径已经失败
  • 改道继续:基于复盘结果修正方向,在同一轮里继续执行
  • 零外部依赖:不需要额外的"评审模型",一切自审都发生在模型自身推理内容中

它的实现非常轻巧:开启后,聊天模板(chat template)只会在你的 system 消息末尾追加一段验证协议触发语,因此每次请求只需传一个布尔参数,完全不需要改动模型文件。

📖 官方说明详见 README.md 的 Verification Mode 章节。

前提准备:先把 Sage-A1.5-F16-GGUF 跑起来

在开启验证模式之前,请确认模型已经可以正常部署。仓库包含两个核心文件:

文件 说明
Sage-A1.5-F16.gguf 语言模型主权重(F16 未量化,MoE 权重 + 内置 MTP 层),约 71.1 GB
Sage-A1.5-mmproj.gguf 多模态(图像输入)视觉投影器,约 0.9 GB

💡 硬件提示:F16 权重约占 66.2 GiB 显存,还需为随上下文增长的 KV cache 预留空间,官方建议准备 2×48 GB 双卡、单张 96 GB 显卡,或 96 GB 以上统一内存的 Mac;显存不够时可用 -ngl 把部分层卸载到 CPU。

启动 llama-server 时,务必带上下面这两个参数——这是验证模式生效的前提:

./build/bin/llama-server \
  -m Sage-A1.5-F16.gguf \
  --alias Sage-A1.5-F16 \
  -ngl 99 -fa on -c 65536 \
  --port 8000 --jinja --reasoning-format deepthink
  • --jinja:启用模型内置聊天模板。验证模式正是通过聊天模板开启的,不加这个参数,后续的参数不会生效。
  • --reasoning-format deepthink:让模型的自我审查内容留在 reasoning_content 字段,与最终答案 content 分离。

最快开启验证模式的方法:一个参数就够了

验证模式默认关闭,按请求开启。核心只有一行:通过 chat_template_kwargs 传入 "verification": true。

🔹 用 curl 最快验证(直接请求 llama-server 的 OpenAI 兼容接口):

curl http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Sage-A1.5-F16",
    "messages": [
      {"role": "system", "content": "You are a helpful assistant."},
      {"role": "user", "content": "Find the population of Shanghai and cross-check it."}
    ],
    "chat_template_kwargs": {"verification": true}
  }'

💡 示例提示词特意让模型"cross-check it(交叉核对)"——配合验证模式,模型会自动触发自我审查流程,核对过程会出现在 reasoning_content 中。

🔹 用 OpenAI Python 客户端调用(通过 extra_body 透传 chat_template_kwargs):

response = client.chat.completions.create(
    model="Sage-A1.5-F16",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Find the population of Beijing and cross-check it."},
    ],
    extra_body={"chat_template_kwargs": {"verification": True}},
)
print(response.choices[0].message.reasoning_content)  # 自我审查发生在思维链中
print(response.choices[0].message.content)

✅ 开启后记得同时读取 reasoning_content 和 content:前者是自我审查过程,后者是最终答案。

验证模式常见问题排查清单

# 现象 原因与解决办法
1 请求直接返回 HTTP 400 system 消息不能为空。验证触发语是追加在 system 内容末尾的,若 verification: true 但 system 为空或只有空白,请求会被拒绝。写一句"You are a helpful assistant."即可
2 传了参数却无效 verification 必须是 JSON 布尔值,即 {"verification": true},不能写成字符串 "true"
3 不确定功能是否生效 不传 chat_template_kwargs 等价于 {"verification": false},提示词保持原样,也就是默认关闭
4 和工具调用冲突 验证模式独立于工具使用,带不带 tools 都能正常工作
5 看不到审查内容 自我审查以 reasoning 内容输出,除了 content 还要读 reasoning_content,且启动服务时别忘加 --reasoning-format deepthink

推荐采样参数

在开启验证模式时,为获得最佳生成质量,建议每次请求附带以下参数:

参数 推荐值 备注
temperature 1.0
top_p 0.95
top_k 20
min_p 0.0
presence_penalty 1.5
repeat_penalty 1.0 llama.cpp 系运行时中字段名为 repeat_penalty

总结:三步搞定 Sage-A1.5 验证模式

  1. 启动服务:用 --jinja 和 --reasoning-format deepthink 启动 llama-server
  2. 按请求开启:通过 chat_template_kwargs 传入 {"verification": true},并确保 system 消息非空
  3. 读取审查:从 reasoning_content 查看自我审查过程,从 content 获取最终答案

到这里,你就成功让 Sage-A1.5-F16-GGUF 在思维链中具备了自我审查与纠错能力。无论是长程搜索任务还是科学推理,打开验证模式都能让模型的表现更可靠;如果想进一步了解 Agentic Orchestration(子代理编排)等进阶能力,可继续阅读 README.md 的 Advanced Modes 章节。

登录后查看全文
Sage-A1.5-F16-GGUF