Sage-A1.5 验证模式详解:一行参数开启模型内置的自我审查与纠错能力

原创2026-10-22 15:47:281,864 阅读
文章标签:大模型模型量化本地部署

Sage-A1.5 验证模式详解:一行参数开启模型内置的自我审查与纠错能力

Sage-A1.5 是 InternScience 开源的 35B MoE 智能体模型,除了强大的长程推理能力,它还内置了一项验证模式(Verification Mode)——模型自带的自我审查与纠错能力。只需在请求里加一行 verification: true 参数,模型就会在执行中途主动暂停、回顾已确立与已失败的步骤,并在同一轮内改道,无需任何外部评审模型参与。本文用最短的步骤带你开启这项能力。

什么是 Sage-A1.5 的验证模式?

验证模式是 Sage-A1.5 内置的自我审查能力,默认关闭,可针对每一次请求单独开启。

开启后,模型会在执行轨迹的中途主动"停下来",检查三件事:

  • 目前已经确立的事实与结论
  • 哪些搜索路径走不通、哪些假设被证伪
  • 接下来该调整方向,改用替代方案

整个过程发生在模型自己的思维链(chain of thought)里,不依赖任何外部评审模型,也不额外调用工具。

一句话理解:让模型"自己检查自己",从被动答题升级为可自我纠错的可靠执行者。

为什么你需要验证模式?

普通模型常常"一条路走到黑"——一旦前期假设错了,后面越努力偏得越远。验证模式正是为了解决长任务中的可靠性问题:

维度 关闭验证模式 开启验证模式
错误处理 倾向沿错误方向继续 主动识别无效路径并回头
推理结构 单向推进 中途暂停 + 反思 + 调整
长任务可靠性 依赖运气与提示词 更稳定
额外成本 — 无外部评审,仅多一段推理内容

对于科学探索、代码工程、多步研究这类长程任务,自我纠错能力往往比"答得快"更重要。

如何开启验证模式?一行参数就够

验证模式通过聊天模板参数 chat_template_kwargs 中的 verification 字段控制。核心就一行:

"chat_template_kwargs": { "verification": true }

开启验证模式的前提条件

  1. 使用支持 qwen35moe 架构的较新版本 llama.cpp / Ollama / LM Studio,旧版无法加载这些权重。
  2. 以 --jinja 启动 llama-server,让它渲染模型自带的聊天模板并识别 chat_template_kwargs。
  3. 请求里必须有非空的 system 消息——触发词是追加到 system 消息末尾的。

启动服务的参考命令(注意其中的 --jinja):

./build/bin/llama-server \
  -m Sage-A1.5-Q8_0.gguf \
  --mmproj Sage-A1.5-mmproj.gguf \
  -ngl 99 -fa on -c 65536 \
  --port 8000 --jinja \
  --reasoning-format deepthink

--reasoning-format deepthink 会把模型的自我审查内容放进 reasoning_content,与最终答案 content 分开,方便你单独查看"模型是怎么检查自己的"。

方式一:用 OpenAI Python 客户端开启

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

response = client.chat.completions.create(
    model="Sage-A1.5-Q8_0",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Find the population of Beijing and cross-check it."},
    ],
    extra_body={"chat_template_kwargs": {"verification": True}},
)

message = response.choices[0].message
print(message.reasoning_content)  # 自我审查发生在这里
print(message.content)           # 这是最终答案

方式二:用 curl 请求开启

curl http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Sage-A1.5-Q8_0",
    "messages": [
      {"role": "system", "content": "You are a helpful assistant."},
      {"role": "user", "content": "Find the population of Shanghai and cross-check it."}
    ],
    "chat_template_kwargs": {"verification": true}
  }'

两种方式本质相同:把 verification: true 传进去,模型就会进入自我审查状态。

验证模式的工作原理:模型如何自我纠错

理解验证模式,可以想象成给模型加了一个"中场哨":

  1. 接收任务 —— 用户提出一个需要多步解决的问题
  2. 正常推进 —— 模型先按常规思路展开推理
  3. 中途暂停 —— 在关键节点回顾已确立的结论与失败的路径
  4. 调整方向 —— 基于反思,在同一轮内选择替代方案继续
  5. 输出结果 —— 反思内容写入 reasoning_content,最终答案写入 content

三个关键特性:

  • 无外部评审:审查逻辑内置在模型自己的思维链里,不需要再挂一个"裁判模型"
  • 同一轮内闭环:从暂停、反思到改道,都在一次生成中完成
  • 与工具调用相互独立:无论请求带不带 tools,验证模式都能正常工作

验证模式的 5 个使用注意事项

  1. 必须有非空 system 消息:verification: true 但没有 system 消息(或只有空白)会被直接拒绝,返回 HTTP 400
  2. 传 JSON 布尔值,别传字符串:要写 {"verification": true},不要写成 {"verification": "true"}
  3. 不传就等于关闭:省略 chat_template_kwargs 等价于 {"verification": false},提示词保持原样
  4. 记得读 reasoning_content:自我审查属于推理内容,只看 content 会漏掉"模型是怎么检查自己的"
  5. 按请求单独开启:它默认关闭,需要哪次请求开启,就在那次请求里带上参数,互不影响

验证模式适合哪些场景?

  • 🧪 科学研究与探索:多步假设验证,防止一条错误假设贯穿全文
  • 💻 软件工程任务:写代码、修 bug 时自我检查已验证的结论
  • 🔍 长程搜索与深度研究:识别无效搜索路径并及时改道
  • 📋 多约束指令跟随:在复杂约束下反复自查是否满足所有条件

推荐的采样参数

开启验证模式后,为保证生成质量,建议沿用官方推荐参数:

参数 推荐值
temperature 1.0
top_p 0.95
top_k 20
min_p 0.0
presence_penalty 1.5
repetition_penalty 1.0

调用 OpenAI 兼容接口时,把上述字段直接放进请求体即可;在 llama.cpp 系运行时中,repetition_penalty 对应的字段名为 repeat_penalty。

文件与资料参考

  • 验证模式完整用法与两种开启方式的详细说明:README.md
  • 语言模型权重(Q8_0,MoE 权重 + 内置 MTP 层,约 37.8 GB):Sage-A1.5-Q8_0.gguf
  • 多模态视觉投影器(可选,纯文本部署可跳过,约 0.9 GB):Sage-A1.5-mmproj.gguf

如需克隆仓库获取权重,可使用:

git clone https://gitcode.com/InternScience/Sage-A1.5-Q8_0-GGUF

总结

Sage-A1.5 的验证模式,是用一行参数换来自我审查与纠错能力的"开关"。无需额外部署评审模型,只需在请求里加上 verification: true,并保证有非空的 system 消息,模型就会在长任务中主动停下来检查自己、改道重来。对于追求可靠性的科学探索与工程任务,这是一个值得常开的高级能力。

登录后查看全文
Sage-A1.5-Q8_0-GGUF