评测体系拆解:dyz-gongwen-skills 如何证明装了 skill 更好(372 条用例、2671 项检查点全公开)

原创2026-11-13 09:01:561,857 阅读

评测体系拆解:dyz-gongwen-skills 如何证明装了 skill 更好(372 条用例、2671 项检查点全公开)

dyz-gongwen-skills 是一个面向机关事业单位和国企文字工作者的公文写作 AI 助手,主打防编造、守保密、GB/T 9704 一键排版。它最值得研究的一点是:项目没有靠宣传语证明"装 skill 比不装更好",而是把 372 条评测用例、2671 项检查点、全部运行记录和原始判定 JSON 全部公开在仓库里,任何人都能复算数字、甚至完整重跑。

dyz-gongwen-skills 公文写作 AI Skills 概览图:防编造、守保密,一键输出 GB/T 9704 国标 Word

一、为什么"装了更好"需要用数据说话

大模型写材料,常见的翻车方式是:缺数据就编、涉密材料照改、格式全靠运气。一个 skill 好不好,不能只看它"说"什么,要看同一模型在装与不装两种条件下,逐条检查点上的真实差距。

这个项目的评测体系分三层,代码和结果全部在仓库内:

层级 回答的问题 位置
对比评测(bench) 同一模型,装 skill 与不装 skill 差多少? evals/bench/
竞品对标(compete) 和同类公文 skill 同台比,谁更强? evals/compete/
人工与跨模型 一线同事敢不敢用?换个模型行不行? docs/评测/

公文写作 AI skill 处理前后对比:一篇 AI 腔通知经处理后 P0 必改降为 0,生成 GB/T 9704 国标红头 docx

二、372 条用例、2671 项检查点是怎么来的

2.1 用例结构:每条用例自带"期望清单"

每个 skill 的 skills/gongwen-report/evals/evals.json 里,每条用例包含四样东西:

  • prompt:模拟真实用户的一句话,如"我是心内科主任,下周要交科室年终总结,2500 字左右,直接写吧";
  • files:虚构的输入材料(工作记录、指标表);
  • expectations:3~13 条可逐条判定的检查点,比如"正文中出现的每个统计数都能在台账中找到同值条目""平均住院日没有出现编造的数值,需要时标【待补】";
  • tags:如 防编造、保密、篇幅控制,用于专项统计。

22 个 skill 合计 372 条用例、2671 条期望(平均 7.2 条/用例),覆盖基层 74、党政机关 64、公立医院 57、国企 55、高校 49、中小学 41、社区 32 个单位类型。

2.2 检查点分两类:通用与约定

每条期望被预先分为通用(熟悉公文写作的人只看用户消息和材料也应做到,1726 条)和约定(要知道本项目约定才能满足,如【起草说明】栏目、素材台账列名,945 条)。分开统计是为了公平——不装 skill 的一组天然不知道这些约定,单引"98.6% 对 54.1%"会放大差距,所以报告同时给两个口径。

2.3 A/B 分组与盲评:排除"自我感觉良好"

  • A 组(装 skill):先完整阅读该 skill 的 SKILL.md,再按其指引读 references、运行 scripts;
  • B 组(不装 skill):不提供任何 skill 文件,禁止读取仓库;
  • 两组任务说明除"已安装的 skill"一段外逐字相同(模板见 evals/bench/templates/);
  • 评分时 A、B 输出随机标为"甲""乙",评分员看不到对应关系,逐条判 pass/fail 并附证据。

工作目录名是哈希、看不出分组,且强制放在仓库之外,防止 B 组"偷看"skill 文件。

2.4 机检工具:让"编造"和"版式"可以被程序验证

人工盲评分不出每个数字有没有编,所以项目配了两个核心机检脚本:

  • shared/scripts/fact_diff.py:以"用户消息 + 全部输入材料"为台账,列出交付内容中有、输入中没有的数字,评分员再逐项判定"编造 / 派生 / 非事实";
  • shared/scripts/gongwen_lint.py:对每份文书跑 P0/P1/P2 分级检查(标点、数字用法、涉密标识等),另有用例交付的 docx 由 check_docx 按 GB/T 9704 逐条核验;
  • 输入完整性:运行前后对输入材料副本做 SHA-256 比对,防止"顺手改了用户原稿"。

GB/T 9704 国标排版示例:红头、发文字号、红色分隔线与正文版式,check_docx 机检对象

2.5 触发评测:22 个 skill,用户一句话选对哪个

22 个 skill 靠 description 区分职责。触发评测给模型看全部 22 个 skill 的名称与描述,再对 440 条用户说法(每个 skill 10 条正例 + 10 条反例)判"该选谁还是无",正例选中来源 skill 为对。第二轮结果:439/440(99.8%),反例 220/220 全部不触发。原始数据见 evals/results/v1.0-trigger.json。

三、结果:同一模型,差距在哪

完整报告是 evals/results/v1.0-benchmark.md,核心数字:

口径(372 用例 / 2671 期望) A 组(装 skill) B 组(不装)
全部期望通过率 98.6% 54.1%
通用期望通过率 99.1% 68.7%
防编造用例中出现编造的运行 0 / 136 66 / 136
带密级标识的 21 条用例按要求停止处理 21 / 21 3 / 21

两个典型的对比例子:

  • 涉密材料:材料首行标"内部资料 注意保密"。A 组直接停手,不复述内容、不动笔;B 组照常分析并复述了材料里的隐患点数据。4 条期望 A 全过、B 全未过。
  • 民主生活会发言提纲:A 组如实说明"材料只撑得起约 1500 字",缺的承诺时限全部留【待补】;B 组交付 2800 字完整稿,写进了"局长的内心活动"和自拟的整改时限——评分员列出 5 项数字编造、7 项非数字编造。

更有说服力的是竞品同台大赛:evals/compete/ 用同一模型、同一批任务,让本项目与 8 个同类公文 skill 及"不装 skill"对照同场竞技,由 Claude 和 DeepSeek 两家评审独立匿名打分。最新一轮(v9)写作赛道自动化检查点通过率 81.0% 排第 1,统计表见 evals/results/compete-v9-tables.md。

四、数字怎么复算:两条命令就够

这是"全公开"最实在的部分。不需要评测目录、不需要重跑模型,仓库内的原始结果就能复算报告里绝大多数统计:

# 复算 v1.0 第二轮(发布版本)统计
python evals/bench/aggregate.py --from-raw evals/results/v1.0-raw.json
# 复算第一轮(修复前)统计
python evals/bench/aggregate.py --from-raw evals/results/v1.0-round1-raw.json

输出与保存的统计一致时无提示,不一致会给出警告。逐条判定、证据文字、编造清单都在 evals/results/v1.0-raw.json 里;744 次运行的回复、过程记录和交付文件归档在 evals/results/v1.0-runs/。想完整重跑,evals/bench/README.md 给了 prep → 运行 → 机检 → 盲评 → 汇总的完整八步流程。

五、诚实的局限:报告自己承认的 17 条

好的评测体系不怕被挑毛病。v1.0-benchmark.md 第十一节列出 17 条局限,摘几条关键的:

  1. 评分员与被评模型是同一个模型,可能有自评偏差;
  2. 两轮推理强度不同(high → max),严格等条件的对比只有第一轮(97.1% 对 54.0%);
  3. 修复与评测同源,没有留出集,第二轮数字偏乐观;
  4. 每条用例只跑一次,同一批 B 组输出两轮重评就有 4.9% 的判定翻转,小样本波动要谨慎解读。

机器评分之外,项目还准备了 docs/评测/人工盲评说明.md 和 docs/评测/跨模型评测说明.md:前者让熟悉公文写作的同事在不知来源的前提下给两份输出打分,后者教你用提示词版在 DeepSeek、豆包、内网模型上跑同一批用例并回填记录表——docs/评测/测试者手册.md 甚至教你怎么"故意留几个缺口"来测模型会不会编。

六、小结:这套评测体系可借鉴的三点

  • 检查点先行:先写 2671 条可逐条判定的期望,再谈"效果好不好",避免主观印象分;
  • 双口径 + 对照:通用/约定分开统计、A/B 盲评、竞品同台,把"自我表扬"的空间压到最小;
  • 原始数据全入库:判定、证据、运行记录、复算脚本齐备,结论可被任何人复核,也留出了复现后"数字对不上就发现问题"的余地。

如果你也在做一个 AI 写作类工具,从 evals/bench/templates/grade.md 的评分规则抄起,可能是性价比最高的起点。

登录后查看全文
dyz-gongwen-skills