K-Dense BYOK看门狗Watchdog教程:第二审查模型如何实时揪出未报告的删数与虚假完成声明

原创2026-10-12 16:22:361,422 阅读

K-Dense BYOK看门狗Watchdog教程:第二审查模型如何实时揪出未报告的删数与虚假完成声明

K-Dense BYOK 是一款运行在本地桌面的开源 AI 科研助手(AI co-scientist),其中的 Watchdog 看门狗 是一个可选的"第二审查模型":当 Kady 完成一轮分析后,由另一个模型实时复核它做了什么,专门揪出未报告的删数、没有证据支撑的"已完成"声明等科研诚信隐患,并把警告直接推送到聊天窗口。本教程带你快速开启并配置这项功能。

K-Dense BYOK 桌面科研助手界面,展示 Watchdog 看门狗所属的研究工作区与实时审查环境

为什么需要 Watchdog 看门狗

让 AI 跑科研分析最怕的不是跑不通,而是它**"悄悄做了事却不汇报"**:

  • 顺手过滤掉了 12% 的"异常"行,却没告诉你;
  • 改过了阈值、随机种子或筛选条件,实验记录里查不到;
  • 报告里写"测试通过 / QC 完成 / 结果可复现",但对话记录里根本没有对应的命令和输出。

Watchdog 就是为此设计的独立审查层:它用另一个模型审查 Kady 每一轮的变更(文件 diff、转录上下文),发现问题就以 Watchdog warning 的形式带证据和建议动作回到聊天里,并给 Kady 一次"补作业"的机会。开启入口在 Settings → Specialists → Watchdog,默认关闭,按项目独立配置。

Kady 端到端科研工作流演示,从提问、工具调用到图表与实验笔记生成

Watchdog 能揪出哪 8 类问题

Kady 会为每个项目预置一份科学审查守则(sandbox/.pi/WATCHDOG.md,你可以编辑定制),默认审查清单覆盖:

# 问题类型 通俗解释
1 Raw data touched user_data/ 原始数据被写入、移动或删除
2 Silent data loss 删行、丢样本、填充 NA 却没报告数量
3 Unlogged parameter changes 阈值、种子、筛选器、模型选择被改,但实验笔记无记录
4 Claims without evidence "测试通过""QC 完成""结果复现"等声明拿不出执行证据
5 Analysis drifting from the frozen plan 分析偏离了冻结的分析计划且无偏差记录
6 Selective analysis/reporting 挑对自己有利的规格反复跑、悄悄换终点指标
7 Figures inconsistent with tables 图表与表格矛盾、坐标轴误导、图注夸大
8 Overwritten outputs 支撑早期笔记的结果被原地覆盖、无版本无备注

默认规则要求审查模型"宁可给一条带精确文件/命令证据的发现,也不给一堆猜测列表",并且只在有实质问题时发声——这一轮干净就闭嘴。完整守则见 watchdog-v1.md,写入逻辑见 watchdog-settings.ts。

一键开启:最快 3 步配置方法

  1. 打开 Settings → Specialists,找到 Watchdog 卡片,打开开关;
  2. 按需选择审查模型——留空则继承当前聊天的模型;
  3. 新开一个聊天标签即可生效(配置只对新开的聊天生效)。

配置面板源码位于 subagents-panel.tsx,各字段含义如下:

配置项 作用 默认值
Watchdog model 审查用模型,留空继承聊天模型 继承
Thinking 审查时的思考档位,留空继承聊天设置 继承
Mid-turn cadence(每 N 次工具调用) 轮次中间也审查(5–500),留空只在轮次结束时审 仅轮次边界
Report(严重度阈值) concern = 关注+阻断都报;blocker = 只报必须停下来的问题 concern
Stalemate repeats 同一警告连续重复 N 次后,直接以僵局(stalemate)终止本轮(1–20) 3
Review specialists 是否连后台专家(subagent)自己执行的轮次也一起审 关闭
WATCHDOG.md 是否读取项目自定义审查守则 开启

警告如何呈现、如何止损

  • 发现会以一张黄色 Watchdog warning 系统卡片出现在聊天气泡之间,附带证据(具体文件/命令)与建议动作,渲染逻辑见 system-card.tsx;
  • Kady 随后获得一次续轮去修复该问题;若修不掉、同一警告重复达到阈值,本轮按 stalemate 停下,避免它反复"打地鼠";
  • 审查只拿有边界的增量上下文,不会执行分析或独立复算结果,所以——"没有警告"不等于"结果正确",它仍可能漏报或误报。

成本与故障排查

  • 每次审查都消耗模型用量(包括"干净"的审查),Kady 会将其计入项目台账(ledger),付费请求在调用前先核对消费上限;
  • 审查失败可能在聊天中静默发生。确认审查模型与供应商配置正确,并在聊天中运行:
/subagents-watchdog status

查看其运行状态;

  • 项目沙箱默认不继承应用仓库的 Git diff:若依赖 Git 审查,需确保 checkout 以会话工作目录为根;纯 shell 改动可能被漏审,建议此类场景启用 mid-turn cadence。

更多边界说明见官方文档 watchdog.md 与 sub-agents.md,以及 limitations.md。

新手建议:如何用好这个"第二审查模型"

  • 🎯 日常科研工作流:保持默认(concern 阈值 + 轮次边界审查),性价比最高;
  • 🛡️ 处理昂贵/关键数据集:启用 mid-turn cadence(如每 20 次工具调用),让审查在过程中介入而非事后补救;
  • 🔍 需要独立视角时:给 Watchdog 指定一个与聊天不同的模型,降低"自己审查自己"的盲区;
  • 📝 有团队规范的实验室:编辑 sandbox/.pi/WATCHDOG.md 加入自定义守则(例如指定哪些指标必须记录 N),你的修改会被保留、不会被覆盖;
  • ⚠️ 记住定位:Watchdog 是"哨兵"不是"证明",它降低风险,替代不了你自己的科学判断。

相关文档:官方 Watchdog 文档 · 专家与看门狗源码 · 设置面板 UI

登录后查看全文
k-dense-byok