Sage-A1.5 验证模式详解:一行参数开启模型内置的自我审查与纠错能力
Sage-A1.5 验证模式详解:一行参数开启模型内置的自我审查与纠错能力
Sage-A1.5 是 InternScience 开源的 35B MoE 智能体模型,除了强大的长程推理能力,它还内置了一项验证模式(Verification Mode)——模型自带的自我审查与纠错能力。只需在请求里加一行 verification: true 参数,模型就会在执行中途主动暂停、回顾已确立与已失败的步骤,并在同一轮内改道,无需任何外部评审模型参与。本文用最短的步骤带你开启这项能力。
什么是 Sage-A1.5 的验证模式?
验证模式是 Sage-A1.5 内置的自我审查能力,默认关闭,可针对每一次请求单独开启。
开启后,模型会在执行轨迹的中途主动"停下来",检查三件事:
- 目前已经确立的事实与结论
- 哪些搜索路径走不通、哪些假设被证伪
- 接下来该调整方向,改用替代方案
整个过程发生在模型自己的思维链(chain of thought)里,不依赖任何外部评审模型,也不额外调用工具。
一句话理解:让模型"自己检查自己",从被动答题升级为可自我纠错的可靠执行者。
为什么你需要验证模式?
普通模型常常"一条路走到黑"——一旦前期假设错了,后面越努力偏得越远。验证模式正是为了解决长任务中的可靠性问题:
| 维度 | 关闭验证模式 | 开启验证模式 |
|---|---|---|
| 错误处理 | 倾向沿错误方向继续 | 主动识别无效路径并回头 |
| 推理结构 | 单向推进 | 中途暂停 + 反思 + 调整 |
| 长任务可靠性 | 依赖运气与提示词 | 更稳定 |
| 额外成本 | — | 无外部评审,仅多一段推理内容 |
对于科学探索、代码工程、多步研究这类长程任务,自我纠错能力往往比"答得快"更重要。
如何开启验证模式?一行参数就够
验证模式通过聊天模板参数 chat_template_kwargs 中的 verification 字段控制。核心就一行:
"chat_template_kwargs": { "verification": true }
开启验证模式的前提条件
- 使用支持
qwen35moe架构的较新版本 llama.cpp / Ollama / LM Studio,旧版无法加载这些权重。 - 以
--jinja启动llama-server,让它渲染模型自带的聊天模板并识别chat_template_kwargs。 - 请求里必须有非空的 system 消息——触发词是追加到 system 消息末尾的。
启动服务的参考命令(注意其中的 --jinja):
./build/bin/llama-server \
-m Sage-A1.5-Q8_0.gguf \
--mmproj Sage-A1.5-mmproj.gguf \
-ngl 99 -fa on -c 65536 \
--port 8000 --jinja \
--reasoning-format deepthink
--reasoning-format deepthink会把模型的自我审查内容放进reasoning_content,与最终答案content分开,方便你单独查看"模型是怎么检查自己的"。
方式一:用 OpenAI Python 客户端开启
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
response = client.chat.completions.create(
model="Sage-A1.5-Q8_0",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Find the population of Beijing and cross-check it."},
],
extra_body={"chat_template_kwargs": {"verification": True}},
)
message = response.choices[0].message
print(message.reasoning_content) # 自我审查发生在这里
print(message.content) # 这是最终答案
方式二:用 curl 请求开启
curl http://localhost:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "Sage-A1.5-Q8_0",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Find the population of Shanghai and cross-check it."}
],
"chat_template_kwargs": {"verification": true}
}'
两种方式本质相同:把 verification: true 传进去,模型就会进入自我审查状态。
验证模式的工作原理:模型如何自我纠错
理解验证模式,可以想象成给模型加了一个"中场哨":
- 接收任务 —— 用户提出一个需要多步解决的问题
- 正常推进 —— 模型先按常规思路展开推理
- 中途暂停 —— 在关键节点回顾已确立的结论与失败的路径
- 调整方向 —— 基于反思,在同一轮内选择替代方案继续
- 输出结果 —— 反思内容写入
reasoning_content,最终答案写入content
三个关键特性:
- 无外部评审:审查逻辑内置在模型自己的思维链里,不需要再挂一个"裁判模型"
- 同一轮内闭环:从暂停、反思到改道,都在一次生成中完成
- 与工具调用相互独立:无论请求带不带
tools,验证模式都能正常工作
验证模式的 5 个使用注意事项
- 必须有非空 system 消息:
verification: true但没有 system 消息(或只有空白)会被直接拒绝,返回 HTTP 400 - 传 JSON 布尔值,别传字符串:要写
{"verification": true},不要写成{"verification": "true"} - 不传就等于关闭:省略
chat_template_kwargs等价于{"verification": false},提示词保持原样 - 记得读
reasoning_content:自我审查属于推理内容,只看content会漏掉"模型是怎么检查自己的" - 按请求单独开启:它默认关闭,需要哪次请求开启,就在那次请求里带上参数,互不影响
验证模式适合哪些场景?
- 🧪 科学研究与探索:多步假设验证,防止一条错误假设贯穿全文
- 💻 软件工程任务:写代码、修 bug 时自我检查已验证的结论
- 🔍 长程搜索与深度研究:识别无效搜索路径并及时改道
- 📋 多约束指令跟随:在复杂约束下反复自查是否满足所有条件
推荐的采样参数
开启验证模式后,为保证生成质量,建议沿用官方推荐参数:
| 参数 | 推荐值 |
|---|---|
temperature |
1.0 |
top_p |
0.95 |
top_k |
20 |
min_p |
0.0 |
presence_penalty |
1.5 |
repetition_penalty |
1.0 |
调用 OpenAI 兼容接口时,把上述字段直接放进请求体即可;在 llama.cpp 系运行时中,repetition_penalty 对应的字段名为 repeat_penalty。
文件与资料参考
- 验证模式完整用法与两种开启方式的详细说明:README.md
- 语言模型权重(Q8_0,MoE 权重 + 内置 MTP 层,约 37.8 GB):Sage-A1.5-Q8_0.gguf
- 多模态视觉投影器(可选,纯文本部署可跳过,约 0.9 GB):Sage-A1.5-mmproj.gguf
如需克隆仓库获取权重,可使用:
git clone https://gitcode.com/InternScience/Sage-A1.5-Q8_0-GGUF
总结
Sage-A1.5 的验证模式,是用一行参数换来自我审查与纠错能力的"开关"。无需额外部署评审模型,只需在请求里加上 verification: true,并保证有非空的 system 消息,模型就会在长任务中主动停下来检查自己、改道重来。对于追求可靠性的科学探索与工程任务,这是一个值得常开的高级能力。