K-Dense BYOK看门狗Watchdog教程:第二审查模型如何实时揪出未报告的删数与虚假完成声明
K-Dense BYOK看门狗Watchdog教程:第二审查模型如何实时揪出未报告的删数与虚假完成声明
K-Dense BYOK 是一款运行在本地桌面的开源 AI 科研助手(AI co-scientist),其中的 Watchdog 看门狗 是一个可选的"第二审查模型":当 Kady 完成一轮分析后,由另一个模型实时复核它做了什么,专门揪出未报告的删数、没有证据支撑的"已完成"声明等科研诚信隐患,并把警告直接推送到聊天窗口。本教程带你快速开启并配置这项功能。
为什么需要 Watchdog 看门狗
让 AI 跑科研分析最怕的不是跑不通,而是它**"悄悄做了事却不汇报"**:
- 顺手过滤掉了 12% 的"异常"行,却没告诉你;
- 改过了阈值、随机种子或筛选条件,实验记录里查不到;
- 报告里写"测试通过 / QC 完成 / 结果可复现",但对话记录里根本没有对应的命令和输出。
Watchdog 就是为此设计的独立审查层:它用另一个模型审查 Kady 每一轮的变更(文件 diff、转录上下文),发现问题就以 Watchdog warning 的形式带证据和建议动作回到聊天里,并给 Kady 一次"补作业"的机会。开启入口在 Settings → Specialists → Watchdog,默认关闭,按项目独立配置。
Watchdog 能揪出哪 8 类问题
Kady 会为每个项目预置一份科学审查守则(sandbox/.pi/WATCHDOG.md,你可以编辑定制),默认审查清单覆盖:
| # | 问题类型 | 通俗解释 |
|---|---|---|
| 1 | Raw data touched | user_data/ 原始数据被写入、移动或删除 |
| 2 | Silent data loss | 删行、丢样本、填充 NA 却没报告数量 |
| 3 | Unlogged parameter changes | 阈值、种子、筛选器、模型选择被改,但实验笔记无记录 |
| 4 | Claims without evidence | "测试通过""QC 完成""结果复现"等声明拿不出执行证据 |
| 5 | Analysis drifting from the frozen plan | 分析偏离了冻结的分析计划且无偏差记录 |
| 6 | Selective analysis/reporting | 挑对自己有利的规格反复跑、悄悄换终点指标 |
| 7 | Figures inconsistent with tables | 图表与表格矛盾、坐标轴误导、图注夸大 |
| 8 | Overwritten outputs | 支撑早期笔记的结果被原地覆盖、无版本无备注 |
默认规则要求审查模型"宁可给一条带精确文件/命令证据的发现,也不给一堆猜测列表",并且只在有实质问题时发声——这一轮干净就闭嘴。完整守则见 watchdog-v1.md,写入逻辑见 watchdog-settings.ts。
一键开启:最快 3 步配置方法
- 打开 Settings → Specialists,找到 Watchdog 卡片,打开开关;
- 按需选择审查模型——留空则继承当前聊天的模型;
- 新开一个聊天标签即可生效(配置只对新开的聊天生效)。
配置面板源码位于 subagents-panel.tsx,各字段含义如下:
| 配置项 | 作用 | 默认值 |
|---|---|---|
| Watchdog model | 审查用模型,留空继承聊天模型 | 继承 |
| Thinking | 审查时的思考档位,留空继承聊天设置 | 继承 |
| Mid-turn cadence(每 N 次工具调用) | 轮次中间也审查(5–500),留空只在轮次结束时审 | 仅轮次边界 |
| Report(严重度阈值) | concern = 关注+阻断都报;blocker = 只报必须停下来的问题 |
concern |
| Stalemate repeats | 同一警告连续重复 N 次后,直接以僵局(stalemate)终止本轮(1–20) | 3 |
| Review specialists | 是否连后台专家(subagent)自己执行的轮次也一起审 | 关闭 |
| WATCHDOG.md | 是否读取项目自定义审查守则 | 开启 |
警告如何呈现、如何止损
- 发现会以一张黄色 Watchdog warning 系统卡片出现在聊天气泡之间,附带证据(具体文件/命令)与建议动作,渲染逻辑见 system-card.tsx;
- Kady 随后获得一次续轮去修复该问题;若修不掉、同一警告重复达到阈值,本轮按 stalemate 停下,避免它反复"打地鼠";
- 审查只拿有边界的增量上下文,不会执行分析或独立复算结果,所以——"没有警告"不等于"结果正确",它仍可能漏报或误报。
成本与故障排查
- 每次审查都消耗模型用量(包括"干净"的审查),Kady 会将其计入项目台账(ledger),付费请求在调用前先核对消费上限;
- 审查失败可能在聊天中静默发生。确认审查模型与供应商配置正确,并在聊天中运行:
/subagents-watchdog status
查看其运行状态;
- 项目沙箱默认不继承应用仓库的 Git diff:若依赖 Git 审查,需确保 checkout 以会话工作目录为根;纯 shell 改动可能被漏审,建议此类场景启用 mid-turn cadence。
更多边界说明见官方文档 watchdog.md 与 sub-agents.md,以及 limitations.md。
新手建议:如何用好这个"第二审查模型"
- 🎯 日常科研工作流:保持默认(concern 阈值 + 轮次边界审查),性价比最高;
- 🛡️ 处理昂贵/关键数据集:启用 mid-turn cadence(如每 20 次工具调用),让审查在过程中介入而非事后补救;
- 🔍 需要独立视角时:给 Watchdog 指定一个与聊天不同的模型,降低"自己审查自己"的盲区;
- 📝 有团队规范的实验室:编辑
sandbox/.pi/WATCHDOG.md加入自定义守则(例如指定哪些指标必须记录 N),你的修改会被保留、不会被覆盖; - ⚠️ 记住定位:Watchdog 是"哨兵"不是"证明",它降低风险,替代不了你自己的科学判断。
相关文档:官方 Watchdog 文档 · 专家与看门狗源码 · 设置面板 UI
登录后查看全文

