防编造机制深度解析:dyz-gongwen-skills 素材台账 +【待补】标注如何做到 136 条用例 0 编造
防编造机制深度解析:dyz-gongwen-skills 素材台账 +【待补】标注如何做到 136 条用例 0 编造
如果你用 AI 写过材料,大概率踩过这个坑:它自己编数字、编人名、编文号。这篇文章以公文写作 Skills 合集 dyz-gongwen-skills 为例,深度解析它如何通过素材台账和**【待补】标注**,在 136 条"故意少给材料"的评测用例中做到 0 编造——普通用户照着"建台账、标空缺、对账"三步,就能让 AI 写公文不瞎编。
一、为什么 AI 写公文最容易"编"
公文对事实的容错率极低:一个数字错了、一个文号编了、一句"金句"安到领导头上,整份材料就作废。而通用大模型补全材料的本能,恰恰是"把话说圆"——缺数据就估一个,缺引语就造一句。
dyz-gongwen-skills 的做法与普通 AI 的差别,可以浓缩成一句话:
| 一般的 AI 写作 | dyz-gongwen-skills | |
|---|---|---|
| 数据和案例 | 缺了就编 | 只用你给的材料,缺的标【待补】 |
| 成效评价 | "大幅提升""成效显著"张口就来 | 反查台账,没有数据支撑就删掉该词 |
| 缺项处理 | 静默带过 | 正文标【待补】,起草说明里汇总位置 |
这套规则写在全项目的底线文件 shared/guardrails.md 第二条"事实只来自用户",所有 22 个 skill 共同遵守。
二、第一道防线:事实只来自用户
红线规则把"事实"定义得很死:数字、人名、职务、单位、事例、引语、文号、日期、政策依据……只能来自三处:
- 用户输入
- 用户提供的文件
- 单位画像
规则里还附了两张清单:
- 工作性表述正面清单:"持续推进""加强组织领导""确保工作取得实效"这类不夹带事实的措辞,允许按文种惯例补写,不算编造;
- 反面清单:"全年检查 12 次""由办公室牵头""2026 年 6 月底前全面完成"——引入材料没有的数字、部门、节点,一律属于编造,不得写入。
上图是该项目的处理流水线示意:direct 去免责声明 → humanize 去 AI 腔 → review 机检 → format 输出国标 docx,防编造贯穿其中。
三、第二道防线:素材台账——把事实变成"底账"
光说"不许编"还不够,项目要求先把用户材料拆成一张素材台账(规范见 skills/gongwen-report/references/ledger.md),正文里的每个数据、案例、问题都必须从台账取。
台账是一张五列表格:序号|类别|内容|来源|状态。几个关键设计:
- 类别只有五种:工作事项、数据、案例、问题、下步打算。一句话里既有动作又有数字,拆成两条;
- 来源必须具体:写"《心内科2026年工作记录》第 5 段"或"用户消息(第 2 轮)"。规范明文禁止写"常识""公开资料"——模型自己知道的数字不许进台账;
- 算出来的数要写算式:如"康复治疗人次同比增长 9.6%(46120÷42080-1≈9.6%)",来源写"由第 1、2 条计算";
- 状态分"已确认/待核实":原话带"大概""约""好像"的,一律记"待核实",正文用最可靠写法,核实事项进起草说明。
举一个真实产物(虚构示例项目,完整文件在 examples/A-医院科室年终总结/素材台账.md):
| 序号 | 类别 | 内容 | 来源 | 状态 |
|---|---|---|---|---|
| 1 | 数据 | 2026年1—11月完成 PCI 612 台 | 《心内科2026年工作记录》第5段 | 已确认 |
| 2 | 数据 | 2025年1—11月完成 PCI 538 台 | 《心内科2026年工作记录》第5段 | 已确认 |
| 3 | 数据 | PCI 同比增长 13.8%(612÷538-1≈13.8%) | 由第1、2条计算 | 已确认 |
| 4 | 数据 | 左心耳封堵全年约 20 台(原话"大概做了 20 来台") | 《心内科2026年工作记录》第3段 | 待核实 |
台账末尾还有一张缺口清单:按提纲逐部分列出还缺什么、该到哪里找,与正文的【待补】一一对应。
成稿示例:排版成稿同样走"事实对账 → 机检 → 排版"的流程,上图是 GB/T 9704 红头版式渲染效果(示例为虚构材料)。
四、第三道防线:【待补】标注——缺什么,标出来,而不是编出来
台账建好后,正文写作时遇到"必须由用户提供的要素"(文号、经费数额、负责人、未给出的统计数据、联系电话),正文里直接写:
镇里已调2台挖掘机抢通受阻乡道【待补:抢通进展】。
某镇应急办 联系人及电话【待补:联系人、工作电话】
(摘自防编造用例 gongwen-brief-15-A 的真实产出,见 evals/results/v1.0-runs/)
配套规则有几条硬约束:
- 【待补】只用于缺了文书就不成立的要素,同一要素只标一处,一篇一般不超过 3 处;
- 正文不出现【待核实】:材料有冲突的,正文用最可靠写法,存疑事项汇总到正文之后的"【起草说明】待核实"一行;
- 素材不够撑字数时,只允许用"工作性表述"补足常规板块,不新增事实、不注水;
- 反查成效词:"明显""显著""大幅"后面没有台账数据的,删掉或改【待补】。
一句话概括:宁可交付一份带 3 个【待补】的稿子,也不交付一份编了 3 个数字的稿子。
五、交付前最后一关:fact_diff.py 机检对账
规则靠模型执行难免漏网,所以项目再挂一道确定性检查:成稿后运行
python scripts/fact_diff.py 素材台账.md 正文.txt --ledger
fact_diff.py 只比对数字、日期、书名号、引语、发文字号等"事实",列出"正文中有、台账中没有"的项,逐条补出处或删去。上面那个心内科总结示例里,对账报出 5 项:2 项是合法的【待补】标记,2 项是"五个方面"这类结构用数,1 项是成文日期——确认没有台账之外的统计数据,才交付。
六、证据:136 条防编造用例,0 编造怎么测出来的
评测设计很"损":22 个 skill 的 372 条用例里,特意挑出 136 条防编造用例——故意少给材料,看模型会不会自己补。同一条用例,同一个模型,分两组跑:A 组装上 skill,B 组什么都不装,全部由盲评评分员逐条判"编造/派生/非事实"。
结果(完整报告见 evals/results/v1.0-benchmark.md):
| 口径 | 装 skill(A 组) | 不装 skill(B 组) |
|---|---|---|
| 136 条防编造用例中出现编造的运行 | 0 | 66 |
| 全部 2671 项检查通过率 | 98.6% | 54.1% |
| 21 条带密级标识用例按规则停止处理 | 21 | 3 |
两点诚实的说明:
- 修复前的第一轮,A 组还有 19 次编造,逐条归因修规则后才复测到 0——"0"不是天然如此,是规则迭代出来的;
- 每条用例只跑一次,评分员也是模型,方法局限都写在评测报告里。另外模型输出有随机性,README 也提醒:定稿前请逐条核对数字、人名、文号。
七、自己上手试一遍
想验证这套防编造机制,三步:
git clone https://gitcode.com/gh_mirrors/dy/dyz-gongwen-skills
cd dyz-gongwen-skills
bash install.sh
然后把自己的(脱敏的)材料丢给任意一个 skill,例如年终总结走 gongwen-report,它会按上面"台账 → 正文 → 对账"的流程交付。仓库里的 examples/ 目录有完整的过程记录:examples/A-医院科室年终总结/过程记录.md 把每一轮对话、起草说明、机检输出都留下了,是理解这套机制最好的材料。
最后提醒:涉密材料和标"内部资料"的文件,请勿输入任何联网 AI——这既是项目的保密红线,也是使用任何 AI 工具写公文时的第一原则。



