如何开启Sage-A1.5-F16-GGUF验证模式:让模型在思维链中自我审查纠错的完整指南
如何开启Sage-A1.5-F16-GGUF验证模式:让模型在思维链中自我审查纠错的完整指南
Sage-A1.5-F16-GGUF 是 InternScience 推出的 35B MoE 智能体模型的 F16(未量化)GGUF 版本,专为 llama.cpp、Ollama、LM Studio 等本地部署场景准备。本篇教程聚焦其中的 Verification Mode(验证模式),手把手教你开启这项自我审查、自我纠错能力:模型会在任务执行中途主动停下来,回顾"已经确认了什么、哪里失败了",并在同一轮里改道继续,全程无需外部评审模型。
什么是验证模式:让模型在思维链里"自我纠错"
普通的推理模型往往走错路而不自知,直到最后才暴露错误。而 Sage-A1.5-F16-GGUF 的验证模式是一种选择性开启(opt-in)、直接内嵌在模型思维链中的自审能力:
- 中途暂停:模型主动停止当前任务流程,不硬着头皮往下推
- 复盘过程:梳理哪些结论已经坐实、哪些搜索路径已经失败
- 改道继续:基于复盘结果修正方向,在同一轮里继续执行
- 零外部依赖:不需要额外的"评审模型",一切自审都发生在模型自身推理内容中
它的实现非常轻巧:开启后,聊天模板(chat template)只会在你的 system 消息末尾追加一段验证协议触发语,因此每次请求只需传一个布尔参数,完全不需要改动模型文件。
📖 官方说明详见 README.md 的 Verification Mode 章节。
前提准备:先把 Sage-A1.5-F16-GGUF 跑起来
在开启验证模式之前,请确认模型已经可以正常部署。仓库包含两个核心文件:
| 文件 | 说明 |
|---|---|
| Sage-A1.5-F16.gguf | 语言模型主权重(F16 未量化,MoE 权重 + 内置 MTP 层),约 71.1 GB |
| Sage-A1.5-mmproj.gguf | 多模态(图像输入)视觉投影器,约 0.9 GB |
💡 硬件提示:F16 权重约占 66.2 GiB 显存,还需为随上下文增长的 KV cache 预留空间,官方建议准备 2×48 GB 双卡、单张 96 GB 显卡,或 96 GB 以上统一内存的 Mac;显存不够时可用 -ngl 把部分层卸载到 CPU。
启动 llama-server 时,务必带上下面这两个参数——这是验证模式生效的前提:
./build/bin/llama-server \
-m Sage-A1.5-F16.gguf \
--alias Sage-A1.5-F16 \
-ngl 99 -fa on -c 65536 \
--port 8000 --jinja --reasoning-format deepthink
--jinja:启用模型内置聊天模板。验证模式正是通过聊天模板开启的,不加这个参数,后续的参数不会生效。--reasoning-format deepthink:让模型的自我审查内容留在reasoning_content字段,与最终答案content分离。
最快开启验证模式的方法:一个参数就够了
验证模式默认关闭,按请求开启。核心只有一行:通过 chat_template_kwargs 传入 "verification": true。
🔹 用 curl 最快验证(直接请求 llama-server 的 OpenAI 兼容接口):
curl http://localhost:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "Sage-A1.5-F16",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Find the population of Shanghai and cross-check it."}
],
"chat_template_kwargs": {"verification": true}
}'
💡 示例提示词特意让模型"cross-check it(交叉核对)"——配合验证模式,模型会自动触发自我审查流程,核对过程会出现在 reasoning_content 中。
🔹 用 OpenAI Python 客户端调用(通过 extra_body 透传 chat_template_kwargs):
response = client.chat.completions.create(
model="Sage-A1.5-F16",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Find the population of Beijing and cross-check it."},
],
extra_body={"chat_template_kwargs": {"verification": True}},
)
print(response.choices[0].message.reasoning_content) # 自我审查发生在思维链中
print(response.choices[0].message.content)
✅ 开启后记得同时读取 reasoning_content 和 content:前者是自我审查过程,后者是最终答案。
验证模式常见问题排查清单
| # | 现象 | 原因与解决办法 |
|---|---|---|
| 1 | 请求直接返回 HTTP 400 | system 消息不能为空。验证触发语是追加在 system 内容末尾的,若 verification: true 但 system 为空或只有空白,请求会被拒绝。写一句"You are a helpful assistant."即可 |
| 2 | 传了参数却无效 | verification 必须是 JSON 布尔值,即 {"verification": true},不能写成字符串 "true" |
| 3 | 不确定功能是否生效 | 不传 chat_template_kwargs 等价于 {"verification": false},提示词保持原样,也就是默认关闭 |
| 4 | 和工具调用冲突 | 验证模式独立于工具使用,带不带 tools 都能正常工作 |
| 5 | 看不到审查内容 | 自我审查以 reasoning 内容输出,除了 content 还要读 reasoning_content,且启动服务时别忘加 --reasoning-format deepthink |
推荐采样参数
在开启验证模式时,为获得最佳生成质量,建议每次请求附带以下参数:
| 参数 | 推荐值 | 备注 |
|---|---|---|
temperature |
1.0 | |
top_p |
0.95 | |
top_k |
20 | |
min_p |
0.0 | |
presence_penalty |
1.5 | |
repeat_penalty |
1.0 | llama.cpp 系运行时中字段名为 repeat_penalty |
总结:三步搞定 Sage-A1.5 验证模式
- 启动服务:用
--jinja和--reasoning-format deepthink启动llama-server - 按请求开启:通过
chat_template_kwargs传入{"verification": true},并确保 system 消息非空 - 读取审查:从
reasoning_content查看自我审查过程,从content获取最终答案
到这里,你就成功让 Sage-A1.5-F16-GGUF 在思维链中具备了自我审查与纠错能力。无论是长程搜索任务还是科学推理,打开验证模式都能让模型的表现更可靠;如果想进一步了解 Agentic Orchestration(子代理编排)等进阶能力,可继续阅读 README.md 的 Advanced Modes 章节。