talk-normal回归测试方法论:6→4→3→0泄漏计数如何保持LLM规则诚实
talk-normal回归测试方法论:6→4→3→0泄漏计数如何保持LLM规则诚实
talk-normal 是一个开源系统提示词项目,让任何 LLM"说人话"——去掉 AI 腔、废话和客服式客套,实测把 GPT 输出长度削减 72%~73%。但真正让这个项目与众不同的,是它的一套回归测试方法论:不靠感觉调 prompt,而是给每条规则记一个"泄漏计数",在同一压力测试题上迭代到 0 才算收敛。📉
这篇文章就拆解这条曲线是怎么画出来的。
为什么 LLM 规则需要回归测试?
很多人写 system prompt 的流程是:改一句 → 问两句 → 感觉变好了 → 收工。问题在于,LLM 对软约束的反应极其微妙:
- 规则写"不要做 X",模型可能把 X 换个说法继续做;
- 规则里举例"不要写『不是交易信号』",模型可能把这个反例原样抄进回答;
- 一条放在列表末尾的规则,可能根本没进模型的注意力范围。
没有可度量的指标,"我感觉好多了"就只是感觉。talk-normal 的解法是给每条泄漏在野的规则建一份回归档案,记录:
| 档案要素 | 作用 |
|---|---|
| 每个版本的泄漏计数 | 量化改进是否真实发生 |
| 触发该轮迭代的真实 LLM 输出片段 | 确保修复针对真实漏洞而非想象 |
| 收敛判据 | 连续 3 次 0 泄漏 + 换题交叉验证 |
规则哲学写得很直白——每条规则都需要一张"收据"(见 CONTRIBUTING.md)。下面是"收据"最完整的一张:对"不是X,而是Y"否定对比句式(negation frame)的封杀。
6→4→3→0:泄漏计数曲线是怎么画出来的
测试装置:一道固定压力题
整个迭代只用一道题:一段关于 Marc Andreessen"创新者五种特质"的评论性上下文,要求模型"总结 + 给出看法"。选题很讲究——这类开放评论题会诱导模型本能地用"先否定读者假设的答案、再给出真正答案"的修辞,是最容易触发"不是X,而是Y"的语境。
规则很简单:
- 全新对话、固定模型(GPT-5.4)、固定题目;
- 数回答中该模式的出现次数;
- 0~1 次算达标,超过 2 次说明规则没立住。
完整记录见回归档案 regressions/rule-17-negation-frame.md。
每一轮泄漏,各漏出了什么
| 版本 | 规则状态 | 泄漏数 | 关键发现 |
|---|---|---|---|
| v0.3.0 | 单行规则,禁"修辞手法" | 6 | 模型自认为是在做"技术区分"而非修辞 |
| v0.3.1 | 扩变体、堵"修辞"逃生口 | 4 | 4 处全是前 3 段的经典句式 |
| v0.4.0 | 提到第 2 位 + 元约束 | 3 + 1 新变体 | 模型反向输出"是X,而不是Y" |
| v0.5.0 | 删反例 + BAD/GOOD 示例对 | 0 | 单轮清零 |
| v0.6.0 | 纯安装体验版,规则不变 | 0 | 继承 v0.5.0 表现 |
| v0.6.1 | 连续 3 次同题全 0 | 0 | 🔒 锁定基线 |
第一轮:规则读到了,但模型"绕"过去了
v0.3.0 的规则只有一行,把"不是X,而是Y"定性为"一种修辞手法"来禁止。结果泄漏 6 处——模型显然读了规则,但它把自己的用法解释为"技术性区分",不属于修辞,于是畅通无阻。v0.3.1 堵住这个逃生口、覆盖更多变体,降到 4 处,但 4 处泄漏全部集中在回答的前 3 段:规则当时排在规则列表的第 14 位(最后一位)。
第二轮:位置就是注意力权重
v0.4.0 做了三个动作:把规则提到第 2 位、在提示词顶部加元约束("你唯一最难的约束")、补上"链式否定"变体。经典句式降到 3 处,验证了规则位置决定注意力权重这个假设。
但这一轮漏出了两个更有趣的东西:
- 逆向变体——"真正的创新者=五种特质拉满的人,而不是单纯聪明的人"。规则只禁了"先否定后肯定",模型就改成了"先肯定后否定",技术上不违规;
- 自我引用泄漏——规则文本里举例"这不是交易信号",模型把这句原样抄进了回答。
第 2 条是整个项目最反直觉的教训:写进规则里的具体反例,会被模型当成正面模板,而不是反模式。
第三轮:删掉反例,换上 BAD/GOOD 示例对
v0.5.0 一次性做了四个修复:
- 规则范围从"开头禁止"扩到任意位置、任意语序(先否后肯、先肯后否、链式、对称式全覆盖);
- 删掉规则正文里的具体反例短语,只保留结构性描述;
- 在元约束下方加入 4 组 BAD/GOOD 示例对——不只告诉模型"别做什么",还展示"该改成什么样";
- 把结尾总结戳规则从第 13 位提到第 3 位(同一轮,结尾的"一句话总结:"也漏了,同一位置病)。
结果:单次测试直接清零,不是X而是Y、而不是、单侧否定、链式、对称变体全部扫描干净。
第四轮:连续 3 次 0 才算收敛
单次清零可能是运气。项目随后在 v0.6.0(纯安装体验发布,规则未动)和 v0.6.1 上又各跑了全新对话的同题测试:0 + 0 + 0。至此基线锁定——6 → 4 → 3 → 0 → 0 → 0。
档案里还留了一条诚实的"未闭合项":v0.6.1 第三次测试中,模型在回答开头用了"核心是一句话:"——同样是总结戳,只是换了位置,而当时规则 3 只约束"结尾"。它没有被悄悄忽略,而是被记为已知缺口,排进后续版本。📋
从一次迭代中提炼的 4 条通用方法
这套方法论不限于这一条规则,可以直接搬到任何 prompt 工程场景:
- 泄漏必须可计数:固定压力题 + 固定模型 + 明确的模式匹配标准,每版记一个数。数字不会说谎,"感觉好了"会。
- 规则位置 = 注意力权重:放列表末尾的规则约等于没写。承重规则放前面,并在顶部用元约束点名。
- 别在规则正文里写具体反例:模型分不清"这是被禁止的形状"和"这是可以用的短语"。要展示形状,用独立的 BAD/GOOD 对照块,并给模型一个"改造方向"而不只是禁令。
- 从词表走向结构:只禁"一句话总结",模型会换"一句话落地";改成结构性描述("任何形如『一句话X:』的标签")才能覆盖你想不到的变体。项目里结尾总结戳规则走的正是同一条"词表 → 结构"路径(见 CHANGELOG.md)。
回归之外的第二根支柱:长度基准
规则回归管"坏模式有没有消失",另一条流水线管"信息量有没有保留":
- scripts/run-tests.sh:对 gpt-5.4 和 gpt-4o-mini 各跑 10 道标准题,每道题一组"无提示词 vs 加 talk-normal"对照,temperature=0 保证可复现;
- 产出 TEST_RESULTS.md:10 题平均削减 72%~73%,且信息完整。
两者合起来才是完整的验收标准:泄漏计数 ≤ 1,且长度基准不回退。想自己复现泄漏测试,回归档案末尾附了 4 步操作指引(安装最新版 → 新开对话 → 贴压力题 → 计数)。
快速上手与文件导航
想在自己的项目里用 talk-normal,最简路径是把 prompt.md 内容放进任何工具的 system prompt 字段;OpenClaw 用户可运行 install.sh 自动注入(幂等,可随时重跑更新,--uninstall 卸载);ChatGPT 自定义指令有 1500 字符限制,用专门压缩过的 prompt-chatgpt.md。
关键文件一览:
- 规则本体(含版本号头注释):prompt.md
- 泄漏回归档案:regressions/rule-17-negation-frame.md
- 长度基准脚本与结果:scripts/run-tests.sh、TEST_RESULTS.md
- 新规则提交规范("每条规则都要收据"):CONTRIBUTING.md
- 技能包(ClawHub / Hermes):skill/SKILL.md、skill-hermes/SKILL.md
小结
talk-normal 真正的方法论价值不在"让 LLM 少说话",而在于它证明了一件事:prompt 规则可以像代码一样做回归测试。一条规则从 6 次泄漏降到 0,靠的不是更严厉的措辞,而是可计数的指标、对位置效应的利用、对"反例变模板"陷阱的规避,以及"连续 3 次 0 才锁定"的收敛纪律。这套流程搬到你自己的提示词项目里,成本不过是一行表格和一个固定的测试问题。