PaperSpine 作者声音恢复评估与校准:从检测器阈值到 held-out 语义指标的方法论迁移
PaperSpine 作者声音恢复评估与校准:从检测器阈值到 held-out 语义指标的方法论迁移
本文是 PaperSpine 开源仓库中 humanize-calibration.md 的技术解读与实战指南。它系统说明:传统 humanize 路由中"检测器得分"为何不再是验收门槛,取而代之的"作者声音恢复(Authorial Voice Restoration)"评估集、硬性指标与规则采纳协议如何落地。读完本文,你将掌握如何设计冻结样本集、定义零漂移硬指标、规范外部检测器观察记录的边界,以及如何用仓库中的 author_voice_check.py、humanize_check.py 与进度门禁验证一次完整的语音恢复作业。
一、背景:为什么废弃检测器阈值校准
在 PaperSpine 早期工作流中,humanize 路由曾依赖 AI 检测器得分来校准改写强度。这一做法在仓库当前规范中已被明确否定。核心原因是:检测器得分既不是"作者身份"证据,也不是改写质量的代理指标,更不应该成为独立的验收门槛。
humanize.md 明确界定该能力的本质是 Authorial Voice Restoration(作者声音恢复),而非 AI 检测规避。它列出了一组"禁止"行为,这些行为正是评估设计的前提约束:
- 承诺检测器通过,或报告捏造的 AI 百分比;
- 针对 AI 分类器或单词黑名单优化文风;
- 仅为了"看起来像人"而添加错误、俚语、反问句、第一人称或句子长度变化;
- 未经明确授权模仿另一位学者;
- 以多跳翻译或回译作为最终改写手段;
- 让模式计数决定作者身份或强制修改。
因此,humanize-calibration.md 的第一句话就给出定位:"This file replaces detector-threshold calibration for the legacy humanize route." 检测器得分只作为用户主动提供时的次要观察记录(secondary observations),永远不是验收门,也永远不能单独证明一次修订的正当性。
从配置层面看,旧值 humanize_tier=light|medium|heavy 仅保留为兼容开关,用于启用该通道,但不再选择任何检测器阈值;新配置应使用 author_voice_restoration=standard|strict|off(详见 humanize.md 与 assertive-scientific-writing.md 中对 standard/strict/off 语义的说明)。
二、主评估集(Primary Evaluation Set):七类控制组
评估必须基于冻结的 train/validation/test 手稿(frozen train/validation/test manuscripts),即不允许在评估迭代中修改样本。完整的控制组设计如下表:
| 控制组 | 目的 |
|---|---|
| 机械打磨文本(已知空框架与段落模板缺陷) | 验证工具能识别典型模板化缺陷,并能在有明确读者问题时才改写 |
| 含种子漂移的修订(number/unit/citation/formula/protected-term/negation/causality/modality/claim-strength) | 验证硬性不变量检测能捕获各类语义漂移 |
| 不支持的新主张突变(unsupported-new-claim mutations) | 验证独立审计能拦截无证据支撑的新主张 |
| 按章节区分的 Methods / Results / Discussion 案例 | 验证章节感知规则:Methods 的重复结构未必是缺陷 |
| 强人工撰写文本(应保持 clean-text no-op) | 验证"干净文本不做任何改动"这一正向精度证据 |
| 授权与不可用作者语料案例 | 验证 profile 的 available/unavailable 两条路径均被覆盖 |
| 陈旧哈希、非独立审计、陈旧作者确认案例 | 验证溯源链的 hash 绑定与身份独立性检查 |
这一控制组清单与仓库测试中的"反向验证"思路一致:例如 tests/test_progress_check.py 构造了合法 no_op 样本(原始与修订字节完全一致、changes=[]、semantic_audit 用 deterministic_identity 方法),随后将修订文本改为 "RBPNet proves X at 5 mg." 来触发 integrity_audit 门禁失败——这正是"陈旧哈希/语义漂移必须被拦截"的实测用例。
三、硬性指标(Hard Metrics):九项可量化验收
评估必须采集以下硬性指标,其中前四项为必须为零的阻断项:
- number/unit/citation/formula/protected-term 漂移:0
- negation/causal direction/modality/claim-strength 漂移:0
- 不支持的新主张:0
- 陈旧 authority、audit 或 author-confirmation 导致的错误放行(false clears):0
- clean-text no-op 控制组的假改写率(false rewrite rate)
- 作者对"修订版 vs 原版"的盲选偏好(author blind preference)
- 独立领域专家对清晰度与科学保真度的判断
- 墙钟时间(wall time)
- 模型 token/成本(可用时)与作者审阅时间
前四项零漂移要求在源码中有完整映射。author_voice_check.py 实现了七类不变量提取器(invariant_extractors):
numbers_units:通过NUMBER_UNIT_RE正则(见src/scripts/author_voice_check.py)匹配带单位的数值,覆盖%、mg、μg、mL、nm、°C、mol等常见科学单位,并支持科学计数法与eE指数;citations:同时解析 LaTeX 的\cite{...}与 Pandoc 的[@key]两种引用语法;formulas:解析$...$行内公式、\[...\]展示公式与equation/align/gather/multline环境;protected_terms:比对 profile 与修订请求中声明的受保护术语(方法名、变量、统计术语、数据集名等);negation、causal_direction、modality_uncertainty_claim_strength:三个语言相关的标记计数器,分别使用中英文词池(如否定词not/no/never/不/未/无,因果词because/therefore/导致/归因于,情态词may/might/could/可能/提示)。
任一不变量出现差异,都会被记为 semantic_invariant_drift 硬性阻断(BLOCKER),对应 author-voice-restoration.schema.json 中规定的六项审计计数字段必须等于 0:unsupported_new_claims、claim_strength_drift、causal_direction_changes、negation_changes、modality_uncertainty_changes、citation_meaning_changes。
关于模式密度与章节角色的两条重要规定
原文档特别强调:
- 可以为单个诊断组测量模式精确率/召回率,但 pattern density 不是作者身份标签(pattern density is not an authorship label);
- 必须记录章节角色(section role),这样 Methods 中正常的重复句式默认不算缺陷。
这对应源码中诊断体系的"咨询性"定位:author_voice_check.py 的 DIAGNOSTIC_PATTERNS 定义了五组模板模式(empty_framing、generic_importance、mechanical_enumeration、writing_process_leak、promotional_precision_gap),但 scan_diagnostics 的结果只写入 advisory_findings,且报告固定输出 authorship inference=not_performed。旧版 humanize_check.py 的 D1–D5 维度同样标注为 ADVISORY 状态、readiness_authority=False,其文档字符串明确写道:"It does not identify AI authorship, estimate an AI percentage, or fail prose for sentence-length or connector patterns."
四、可选检测器观察(Optional Detector Observation):记录而非验收
当用户主动提供外部检测器结果时,评估只负责完整记录以下元数据,不得据此调整阈值:
- 检测平台(platform);
- 日期(date);
- 语言(language)与学科(discipline);
- 文档哈希(document hash)与精确修订哈希(exact revision hash);
- 平台自身的不确定性(the platform's own uncertainty)。
同时有三条禁令:绝不根据单次结果优化阈值;绝不承诺跨平台迁移性;绝不把检测器描述为作者身份证明。
这一"记录但不采信"的边界,在源码中有双重印证:
- author_voice_check.py 生成的 receipt Markdown 固定输出
Detector pass / AI percentage: not_claimed; - humanize_check.py 的
to_markdown同样输出Authorship inference: not_performed与Detector pass / AI percentage: not_claimed,并标注Readiness gate: not_authoritative。
换言之,检测器结果至多是报告中的一行观察记录,既不是 BLOCKER 也不是 PASS 依据。
五、规则采纳规则(Adoption Rule):新的判定门槛
任何新的规则(如新的诊断模式、新的改写启发式)要进入评估体系,必须同时满足:
- 改善 held-out 集上的清晰度/声音偏好(clarity/voice preference)或修复精度(repair precision);
- 无任何语义不变量回归(without any semantic-invariant regression);
- 不提高 clean-text 假改写率(without increasing the clean-text false-rewrite rate)。
并且明确:仅降低检测器得分这一条,不足以采纳新规则(A lower detector score alone is insufficient)。
这条规则与 assertive-scientific-writing.md 中的原则同构:清晰、准确、符合章节功能的文本应当保持 no_op,即使它使用了常见连接词、重复的程序性句式或较低的句长方差。模式匹配本身不是改动理由——"Clean text may remain unchanged."
六、评估在完整工作流中的位置与验证命令
作者声音恢复在整个论文生产管线中的位置(源自 humanize.md 的流程)为:
确认贡献 + 冻结 claim/evidence/terminology
↓
读者面向手稿草稿 + 不可变原始快照
↓
作者声音 profile(授权语料或显式 unavailable 收据)
↓
claim/evidence/limitation 反向提纲
↓
clean-text no-op 决策或最小必要改写
↓
确定性不变量 + 咨询性模式扫描
↓
独立语义审计(含否决权)
↓
绑定修订 SHA-256 的作者确认
↓
独立编辑审阅
评估产出四件套:author_voice_profile.json(遵循 author-voice-profile.schema.json)、author_voice_revision.json(遵循 author-voice-restoration.schema.json)、author_voice_receipt.json(遵循 author-voice-receipt.schema.json)与 author_voice_report.md,外加不可变的原始手稿快照与授权语料快照。
验证与门禁命令(以仓库 src/scripts 目录为准):
# 生成/校验 author_voice_receipt.json 与 author_voice_report.md
python src/scripts/author_voice_check.py paper_rewriting_output --markdown --write
# 作为进度门禁执行(gate 名沿用 humanize 路由别名)
python src/scripts/progress_check.py paper_rewriting_output --gate author_voice_restoration
门禁逻辑的源码依据见 progress_check.py:
author_voice_restoration阶段被标记为config_dependent=True,当配置为author_voice_restoration=off时门禁直接放行并提示 "Authorial Voice Restoration explicitly disabled; gate passes (opt-out)."(stage_skip_message);- 启用时(
standard/strict),若缺少author_voice_profile.json等产物则门禁失败(对应 tests/test_progress_check.py 的test_author_voice_gate_requires_auditable_receipts_when_enabled); - 门禁内部直接调用
validate_author_voice(output_dir),将硬性发现(hard_findings)逐条输出为失败原因; integrity_audit门禁在配置启用该通道时也会复查语音恢复状态——测试test_integrity_gate_rechecks_author_voice_before_review证明:一旦修订文本发生语义漂移("RBPNet may be associated..."被改为"RBPNet proves..."),即使其它审计产物齐全,integrity_audit门禁也会失败并提示 "Authorial Voice Restoration"。
旧版 humanize_check.py 仍保留为兼容诊断:当输出目录存在 author_voice_revision.json 或 author_voice_profile.json 时,它会自动转向 validate_author_voice 并生成 humanize_report.md 兼容重定向;否则按旧 humanize_matrix.md 表格解析 D1–D5 咨询性维度。无论哪条路径,其结论均标注 diagnostic_only 且 没有 readiness 权限。相关行为在 tests/test_humanize_check.py 中有对应用例(如矩阵缺失、覆盖率不足、维度缺失等)。
七、实践清单:如何按本文标准完成一次可评估的语音恢复
综合 humanize-calibration.md 与仓库实现,一次合格的评估应遵循以下顺序:
- 冻结权威:快照
confirmed_contribution.md、scientific_evidence_ledger.json、术语来源与当前手稿,记录相对路径、用途与 SHA-256 到author_voice_revision.json.authority_files(要求至少一个冻结的 claim/evidence 权威文件,缺失即 BLOCKERmissing_authority_snapshot); - 构建声音 profile:仅使用作者本人或显式授权的文本(既往论文、开题/学位论文章节、审稿回复信、真实推理的研究笔记),逐条绑定 SHA-256 与
authorization=author_owned|explicitly_authorized,登记受保护术语;若无语料,则status=unavailable并填写unavailable_reason,诚实记录"无法学习个人声音"而非借用他人文风; - 先决策 no-op 再谈改写:只有存在具体读者问题才改写;
no_op要求原始与修订哈希字节级一致、changes=[],并记录"当前文本已实现其章节功能"的理由; - 按段落功能改写:从冻结权威中恢复段落所属主张、许可它的证据、改变解释的局限/替代解释、以及与前后的关系,优先删除空框架而非同义词替换;每条 change 必须含
change_id/source_locator/revised_locator/reason/evidence_anchor五个字段(reason的取值枚举见 author-voice-restoration.schema.json); - 运行确定性不变量检查:执行
author_voice_check.py,确认数值、单位、引用、公式、受保护术语、否定、因果方向、情态/主张强度零漂移;回译仅允许作为差异探针,绝不自动采纳其措辞; - 独立语义审计:
rewrite模式必须由与改写者不同身份的 Agent 执行audit_method=independent_agent、independent_from_rewriter=true的审计,六项漂移计数必须全部为 0,且审计收据同时绑定原始与修订哈希; - 作者确认并过门禁:
author_confirmation必须status=confirmed且confirmed_sha256与当前修订哈希一致;最后执行progress_check.py --gate author_voice_restoration验证全部产物; - 写报告:报告中包含原始/修订哈希、变更理由、保留的不变量、语义审计状态、可用时的与授权作者文本的描述性偏差、未解决的诊断模式与作者确认,并显式输出
authorship inference=not_performed,不声称任何检测器通过。
八、小结
PaperSpine 的评估体系完成了一次关键迁移:从"检测器得分决定成败"转向"语义不变量 + held-out 控制组 + 独立审计 + 作者确认"的证据链模型。这套方法论的核心在于三点——检测器结果降级为可选观察记录、假改写率与语义零漂移成为硬约束、任何新规则都必须通过 held-out 验证且不得引入语义回归。对于需要复现或扩展该评估的研究者,仓库中的 author_voice_check.py(不变量与审计实现)、humanize_check.py(兼容诊断)、author-voice-restoration.schema.json(修订契约)、author-voice-profile.schema.json(语料授权契约)以及 tests/test_progress_check.py(门禁与 no_op 用例)是可直接对照的参考实现。