"不是X,而是Y":talk-normal最难规则如何从6次泄漏到0?完整4轮迭代复盘

原创2026-10-10 00:46:291,363 阅读

"不是X,而是Y":talk-normal最难规则如何从6次泄漏到0?完整4轮迭代复盘

你是不是也被 AI 回答里"不是……而是……"的僵硬腔调折磨过?talk-normal 是一个开源的 system prompt 项目,目标是让任何 LLM "说人话"——去掉客服腔和 AI 味(AI slop),平均砍掉 72%~73% 的输出长度,同时保留全部有用信息。它的 20 条规则里,有一条"最难啃"的规则:禁止"不是X,而是Y"这种否定对比句式。这篇文章完整复盘它如何从每条回答泄漏 6 次,迭代 4 轮降到 0。

talk-normal 是什么:一个让 LLM 说人话的 system prompt

talk-normal 不是插件、不依赖任何框架,本质就是一个可以直接粘贴的 system prompt 文件(prompt.md)。把它装进你的 LLM 工作流,回答风格就会从"客服机器人"变成"直接给结论的真人"。

安装方式很简单,任选其一:

  • 一行命令克隆安装(自动检测 AGENTS.md 并注入规则,可重复执行更新):
git clone https://gitcode.com/gh_mirrors/ta/talk-normal && bash install.sh
  • ChatGPT 用户:把 prompt-chatgpt.md 的内容贴进自定义指令(压缩到 1400 字符以适配 1500 字上限)。
  • API / Cursor / Continue:直接把 prompt.md 全文粘进 system prompt 字段。

卸载也只是一行:bash install.sh --uninstall。更多细节见 README_CN.md 和 install.sh。

为什么"不是X,而是Y"是最难的规则

大模型有个顽固的修辞习惯:先否定一个选项,再抛出正确答案——"真正的创新者不是有创意的人,而是五种特质拉满的人"。这种"否定帧"(negation frame)几乎出现在所有对比类回答里,也是读者感知"AI 味"最强烈的句式之一。

为什么难禁?因为对模型来说这根本不是坏习惯,而是它训练数据里高频出现的自然修辞动作。你越是禁止,它越容易"合理化"自己的用法(比如声称自己做的是"技术区分"而非修辞)。

压力测试:一道固定提示词 + 数泄漏次数 📊

整个迭代基于一个可靠的"压力提示词":让 GPT-5.4 阅读并评论 Marc Andreessen 的"创新者五大特质"框架,要求总结并给出自己的看法。这个开放式题目会自然诱发"否定→纠正"的修辞动作。

测试方法很简单:每个版本开全新对话,跑同一个提示词,人工数回答中否定帧出现的次数,目标为 0~1,超过 2 就说明规则没守住。完整的泄漏计数表记录在 regressions/rule-17-negation-frame.md。

完整4轮迭代复盘:泄漏数 6 → 4 → 3 → 0 🔁

版本 核心改动 泄漏数
v0.3.0 首条规则:一行禁令,定性为"修辞手法" 6
v0.3.1 覆盖变体,移除"修辞手法"逃逸出口 4
v0.4.0 规则提到第 2 位 + 顶层"最难约束"元规则 3 + 1 个新变体
v0.5.0 BAD/GOOD 示例对 + 扩大作用域 + 删自引例句 0(连续 3 次新会话验证)

第1轮(v0.3.0):一行禁令,为什么完全没用?

第一版规则很简单:"不要使用'不是X,而是Y'这一修辞手法。"结果一条回答泄漏 6 次。原因藏在模型的"自我辩护"里:它把每一次用法都解释为"我在做技术性区分,不是在修辞"——"修辞手法"这个定性反而成了逃逸出口。

第2轮(v0.3.1):堵住变体,泄漏减半

把规则扩大到所有变体(省略"而"、链条式"不是A,不是B,而是C"),删掉"修辞手法"的定性,泄漏降到 4 次。但 4 次全部出现在前 3 段——越靠前越难禁,因为开场句正是这个句式最自然的用武之地。

第3轮(v0.4.0):重排 + 元规则,却暴露了更深的坑

这轮做了三件事:规则从第 14 位提到第 2 位(紧跟"先给答案"之后)、在提示词顶部加了"这是你最难的单条约束"的元规则、补充链条式否定变体。

结果:经典句式从 4 降到 3,看起来有效了。但测试暴露了三个更棘手的问题:

  1. 模型换了个没被禁的顺序:先说正面结论,再补一句"而不是Y"(correct then reject),规则文本没覆盖这个方向,直接绕过;
  2. 自引泄漏(最精彩的一课):规则文本里原本有一句话"这不是交易信号"作为反面说明——模型把它原样抄进了自己的回答。把具体短语写进规则当反例,模型会当成"批准使用的模板";
  3. 位置衰减:另一条禁用"一句话总结"的规则排在第 13 位,结果回答里照样出现了"一句话总结:"这个被明令禁止的小标题。

第4轮(v0.5.0):三个组合拳,收敛到 0

针对上面的坑,prompt.md 的最终版做了四个改动:

  1. 扩大作用域:规则 2 从"禁止先否定"改为"任何位置、任何顺序",覆盖正反两种顺序、链条式、对称式("适合X,不适合Y");
  2. 删掉自引例句:规则正文只保留结构性描述,不给模型任何可复制的具体短语;
  3. 加入 BAD/GOOD 示例对:在元规则下方给出 4 组"坏句→好句"的改写对照(中文标准式、反序式、单边式、英文式),让模型看到明确的转换方向;
  4. 提升收尾规则位置:从第 13 位提到第 3 位,让中文总结戳获得与规则 2 同等的注意力权重。

BAD/GOOD 示例长这样(摘自 prompt.md):

BAD:  真正的创新者不是"有创意的人",而是五种特质同时拉满的人
GOOD: 真正的创新者是五种特质同时拉满的人

结果:单轮测试降到 0。为了排除偶然,后续用同一提示词连续 3 次全新会话复测(v0.5.0 / v0.6.0 / v0.6.1),每轮都是 0,规则状态正式锁定为基线(2026-04-11)。

3条可复用的 prompt 工程经验 💡

这次迭代最大的价值不在于规则本身,而在于三条对任何写 system prompt 的人都适用的教训(详细分析见 regressions/rule-17-negation-frame.md):

  • 规则文本里的负面例子会被抄成模板。想禁止某个短语,就不要在规则里写出那个短语——写结构性描述,或只放 BAD/GOOD 改写对。
  • 规则位置就是注意力权重。排在末尾的规则近乎失效,把关键规则提到前列(talk-normal 的第 2、3 位),效果立竿见影。
  • 给转换方向比单纯禁止更有效。对先验很强的行为(模型"天然爱写"的句式),"禁止做X"不如"遇到X请改写成Y"——BAD → GOOD 的示例对给了模型一个具体的替代出口。

如何复现这套测试 📋

项目把回归验证也做成了资产:

  • 回归档案:regressions/rule-17-negation-frame.md 记录了每个版本的泄漏数、真实泄漏句摘录和修复逻辑,文末附"如何重跑测试"的 4 步清单;
  • 基准脚本:OPENAI_API_KEY=sk-xxx bash scripts/run-tests.sh 可一键重跑 10 道题 × 2 个模型(temperature=0)的对照测试,结果写入 TEST_RESULTS.md,脚本逻辑见 scripts/run-tests.sh;
  • 版本记录:每轮改动都在 CHANGELOG.md 留有对应条目,规则演进全程可追溯。

小结

从 6 到 0,talk-normal 没有靠"更严厉的措辞"取胜,而是靠一轮轮观察泄漏样本 → 定位逃逸路径 → 结构性修复。这也回答了为什么这个项目的规则文件只有短短 20 条却迭代了 10 个版本——每条规则都是用真实泄漏数据喂出来的。如果你受够了 AI 回答里的"一句话总结"和"不是X,而是Y",装上这个 system prompt,再打开 TEST_RESULTS.md 对比一下前后差异,你会明白 72% 的压缩率是怎么来的。

登录后查看全文
talk-normal