PaperSpine 作者声音恢复评估与校准:从检测器阈值到 held-out 语义指标的方法论迁移

原创2026-10-13 13:31:081,652 阅读
文章标签:人工智能AI 技能AI 写作

PaperSpine 作者声音恢复评估与校准:从检测器阈值到 held-out 语义指标的方法论迁移

本文是 PaperSpine 开源仓库中 humanize-calibration.md 的技术解读与实战指南。它系统说明:传统 humanize 路由中"检测器得分"为何不再是验收门槛,取而代之的"作者声音恢复(Authorial Voice Restoration)"评估集、硬性指标与规则采纳协议如何落地。读完本文,你将掌握如何设计冻结样本集、定义零漂移硬指标、规范外部检测器观察记录的边界,以及如何用仓库中的 author_voice_check.py、humanize_check.py 与进度门禁验证一次完整的语音恢复作业。

一、背景:为什么废弃检测器阈值校准

在 PaperSpine 早期工作流中,humanize 路由曾依赖 AI 检测器得分来校准改写强度。这一做法在仓库当前规范中已被明确否定。核心原因是:检测器得分既不是"作者身份"证据,也不是改写质量的代理指标,更不应该成为独立的验收门槛。

humanize.md 明确界定该能力的本质是 Authorial Voice Restoration(作者声音恢复),而非 AI 检测规避。它列出了一组"禁止"行为,这些行为正是评估设计的前提约束:

  • 承诺检测器通过,或报告捏造的 AI 百分比;
  • 针对 AI 分类器或单词黑名单优化文风;
  • 仅为了"看起来像人"而添加错误、俚语、反问句、第一人称或句子长度变化;
  • 未经明确授权模仿另一位学者;
  • 以多跳翻译或回译作为最终改写手段;
  • 让模式计数决定作者身份或强制修改。

因此,humanize-calibration.md 的第一句话就给出定位:"This file replaces detector-threshold calibration for the legacy humanize route." 检测器得分只作为用户主动提供时的次要观察记录(secondary observations),永远不是验收门,也永远不能单独证明一次修订的正当性。

从配置层面看,旧值 humanize_tier=light|medium|heavy 仅保留为兼容开关,用于启用该通道,但不再选择任何检测器阈值;新配置应使用 author_voice_restoration=standard|strict|off(详见 humanize.md 与 assertive-scientific-writing.md 中对 standard/strict/off 语义的说明)。

二、主评估集(Primary Evaluation Set):七类控制组

评估必须基于冻结的 train/validation/test 手稿(frozen train/validation/test manuscripts),即不允许在评估迭代中修改样本。完整的控制组设计如下表:

控制组 目的
机械打磨文本(已知空框架与段落模板缺陷) 验证工具能识别典型模板化缺陷,并能在有明确读者问题时才改写
含种子漂移的修订(number/unit/citation/formula/protected-term/negation/causality/modality/claim-strength) 验证硬性不变量检测能捕获各类语义漂移
不支持的新主张突变(unsupported-new-claim mutations) 验证独立审计能拦截无证据支撑的新主张
按章节区分的 Methods / Results / Discussion 案例 验证章节感知规则:Methods 的重复结构未必是缺陷
强人工撰写文本(应保持 clean-text no-op) 验证"干净文本不做任何改动"这一正向精度证据
授权与不可用作者语料案例 验证 profile 的 available/unavailable 两条路径均被覆盖
陈旧哈希、非独立审计、陈旧作者确认案例 验证溯源链的 hash 绑定与身份独立性检查

这一控制组清单与仓库测试中的"反向验证"思路一致:例如 tests/test_progress_check.py 构造了合法 no_op 样本(原始与修订字节完全一致、changes=[]、semantic_audit 用 deterministic_identity 方法),随后将修订文本改为 "RBPNet proves X at 5 mg." 来触发 integrity_audit 门禁失败——这正是"陈旧哈希/语义漂移必须被拦截"的实测用例。

三、硬性指标(Hard Metrics):九项可量化验收

评估必须采集以下硬性指标,其中前四项为必须为零的阻断项:

  1. number/unit/citation/formula/protected-term 漂移:0
  2. negation/causal direction/modality/claim-strength 漂移:0
  3. 不支持的新主张:0
  4. 陈旧 authority、audit 或 author-confirmation 导致的错误放行(false clears):0
  5. clean-text no-op 控制组的假改写率(false rewrite rate)
  6. 作者对"修订版 vs 原版"的盲选偏好(author blind preference)
  7. 独立领域专家对清晰度与科学保真度的判断
  8. 墙钟时间(wall time)
  9. 模型 token/成本(可用时)与作者审阅时间

前四项零漂移要求在源码中有完整映射。author_voice_check.py 实现了七类不变量提取器(invariant_extractors):

  • numbers_units:通过 NUMBER_UNIT_RE 正则(见 src/scripts/author_voice_check.py)匹配带单位的数值,覆盖 %、mg、μg、mL、nm、°C、mol 等常见科学单位,并支持科学计数法与 eE 指数;
  • citations:同时解析 LaTeX 的 \cite{...} 与 Pandoc 的 [@key] 两种引用语法;
  • formulas:解析 $...$ 行内公式、\[...\] 展示公式与 equation/align/gather/multline 环境;
  • protected_terms:比对 profile 与修订请求中声明的受保护术语(方法名、变量、统计术语、数据集名等);
  • negation、causal_direction、modality_uncertainty_claim_strength:三个语言相关的标记计数器,分别使用中英文词池(如否定词 not/no/never/不/未/无,因果词 because/therefore/导致/归因于,情态词 may/might/could/可能/提示)。

任一不变量出现差异,都会被记为 semantic_invariant_drift 硬性阻断(BLOCKER),对应 author-voice-restoration.schema.json 中规定的六项审计计数字段必须等于 0:unsupported_new_claims、claim_strength_drift、causal_direction_changes、negation_changes、modality_uncertainty_changes、citation_meaning_changes。

关于模式密度与章节角色的两条重要规定

原文档特别强调:

  • 可以为单个诊断组测量模式精确率/召回率,但 pattern density 不是作者身份标签(pattern density is not an authorship label);
  • 必须记录章节角色(section role),这样 Methods 中正常的重复句式默认不算缺陷。

这对应源码中诊断体系的"咨询性"定位:author_voice_check.py 的 DIAGNOSTIC_PATTERNS 定义了五组模板模式(empty_framing、generic_importance、mechanical_enumeration、writing_process_leak、promotional_precision_gap),但 scan_diagnostics 的结果只写入 advisory_findings,且报告固定输出 authorship inference=not_performed。旧版 humanize_check.py 的 D1–D5 维度同样标注为 ADVISORY 状态、readiness_authority=False,其文档字符串明确写道:"It does not identify AI authorship, estimate an AI percentage, or fail prose for sentence-length or connector patterns."

四、可选检测器观察(Optional Detector Observation):记录而非验收

当用户主动提供外部检测器结果时,评估只负责完整记录以下元数据,不得据此调整阈值:

  • 检测平台(platform);
  • 日期(date);
  • 语言(language)与学科(discipline);
  • 文档哈希(document hash)与精确修订哈希(exact revision hash);
  • 平台自身的不确定性(the platform's own uncertainty)。

同时有三条禁令:绝不根据单次结果优化阈值;绝不承诺跨平台迁移性;绝不把检测器描述为作者身份证明。

这一"记录但不采信"的边界,在源码中有双重印证:

  1. author_voice_check.py 生成的 receipt Markdown 固定输出 Detector pass / AI percentage: not_claimed;
  2. humanize_check.py 的 to_markdown 同样输出 Authorship inference: not_performed 与 Detector pass / AI percentage: not_claimed,并标注 Readiness gate: not_authoritative。

换言之,检测器结果至多是报告中的一行观察记录,既不是 BLOCKER 也不是 PASS 依据。

五、规则采纳规则(Adoption Rule):新的判定门槛

任何新的规则(如新的诊断模式、新的改写启发式)要进入评估体系,必须同时满足:

  1. 改善 held-out 集上的清晰度/声音偏好(clarity/voice preference)或修复精度(repair precision);
  2. 无任何语义不变量回归(without any semantic-invariant regression);
  3. 不提高 clean-text 假改写率(without increasing the clean-text false-rewrite rate)。

并且明确:仅降低检测器得分这一条,不足以采纳新规则(A lower detector score alone is insufficient)。

这条规则与 assertive-scientific-writing.md 中的原则同构:清晰、准确、符合章节功能的文本应当保持 no_op,即使它使用了常见连接词、重复的程序性句式或较低的句长方差。模式匹配本身不是改动理由——"Clean text may remain unchanged."

六、评估在完整工作流中的位置与验证命令

作者声音恢复在整个论文生产管线中的位置(源自 humanize.md 的流程)为:

确认贡献 + 冻结 claim/evidence/terminology
                        ↓
读者面向手稿草稿 + 不可变原始快照
                        ↓
作者声音 profile(授权语料或显式 unavailable 收据)
                        ↓
claim/evidence/limitation 反向提纲
                        ↓
clean-text no-op 决策或最小必要改写
                        ↓
确定性不变量 + 咨询性模式扫描
                        ↓
独立语义审计(含否决权)
                        ↓
绑定修订 SHA-256 的作者确认
                        ↓
独立编辑审阅

评估产出四件套:author_voice_profile.json(遵循 author-voice-profile.schema.json)、author_voice_revision.json(遵循 author-voice-restoration.schema.json)、author_voice_receipt.json(遵循 author-voice-receipt.schema.json)与 author_voice_report.md,外加不可变的原始手稿快照与授权语料快照。

验证与门禁命令(以仓库 src/scripts 目录为准):

# 生成/校验 author_voice_receipt.json 与 author_voice_report.md
python src/scripts/author_voice_check.py paper_rewriting_output --markdown --write

# 作为进度门禁执行(gate 名沿用 humanize 路由别名)
python src/scripts/progress_check.py paper_rewriting_output --gate author_voice_restoration

门禁逻辑的源码依据见 progress_check.py:

  • author_voice_restoration 阶段被标记为 config_dependent=True,当配置为 author_voice_restoration=off 时门禁直接放行并提示 "Authorial Voice Restoration explicitly disabled; gate passes (opt-out)."(stage_skip_message);
  • 启用时(standard/strict),若缺少 author_voice_profile.json 等产物则门禁失败(对应 tests/test_progress_check.py 的 test_author_voice_gate_requires_auditable_receipts_when_enabled);
  • 门禁内部直接调用 validate_author_voice(output_dir),将硬性发现(hard_findings)逐条输出为失败原因;
  • integrity_audit 门禁在配置启用该通道时也会复查语音恢复状态——测试 test_integrity_gate_rechecks_author_voice_before_review 证明:一旦修订文本发生语义漂移("RBPNet may be associated..." 被改为 "RBPNet proves..."),即使其它审计产物齐全,integrity_audit 门禁也会失败并提示 "Authorial Voice Restoration"。

旧版 humanize_check.py 仍保留为兼容诊断:当输出目录存在 author_voice_revision.json 或 author_voice_profile.json 时,它会自动转向 validate_author_voice 并生成 humanize_report.md 兼容重定向;否则按旧 humanize_matrix.md 表格解析 D1–D5 咨询性维度。无论哪条路径,其结论均标注 diagnostic_only 且 没有 readiness 权限。相关行为在 tests/test_humanize_check.py 中有对应用例(如矩阵缺失、覆盖率不足、维度缺失等)。

七、实践清单:如何按本文标准完成一次可评估的语音恢复

综合 humanize-calibration.md 与仓库实现,一次合格的评估应遵循以下顺序:

  1. 冻结权威:快照 confirmed_contribution.md、scientific_evidence_ledger.json、术语来源与当前手稿,记录相对路径、用途与 SHA-256 到 author_voice_revision.json.authority_files(要求至少一个冻结的 claim/evidence 权威文件,缺失即 BLOCKER missing_authority_snapshot);
  2. 构建声音 profile:仅使用作者本人或显式授权的文本(既往论文、开题/学位论文章节、审稿回复信、真实推理的研究笔记),逐条绑定 SHA-256 与 authorization=author_owned|explicitly_authorized,登记受保护术语;若无语料,则 status=unavailable 并填写 unavailable_reason,诚实记录"无法学习个人声音"而非借用他人文风;
  3. 先决策 no-op 再谈改写:只有存在具体读者问题才改写;no_op 要求原始与修订哈希字节级一致、changes=[],并记录"当前文本已实现其章节功能"的理由;
  4. 按段落功能改写:从冻结权威中恢复段落所属主张、许可它的证据、改变解释的局限/替代解释、以及与前后的关系,优先删除空框架而非同义词替换;每条 change 必须含 change_id/source_locator/revised_locator/reason/evidence_anchor 五个字段(reason 的取值枚举见 author-voice-restoration.schema.json);
  5. 运行确定性不变量检查:执行 author_voice_check.py,确认数值、单位、引用、公式、受保护术语、否定、因果方向、情态/主张强度零漂移;回译仅允许作为差异探针,绝不自动采纳其措辞;
  6. 独立语义审计:rewrite 模式必须由与改写者不同身份的 Agent 执行 audit_method=independent_agent、independent_from_rewriter=true 的审计,六项漂移计数必须全部为 0,且审计收据同时绑定原始与修订哈希;
  7. 作者确认并过门禁:author_confirmation 必须 status=confirmed 且 confirmed_sha256 与当前修订哈希一致;最后执行 progress_check.py --gate author_voice_restoration 验证全部产物;
  8. 写报告:报告中包含原始/修订哈希、变更理由、保留的不变量、语义审计状态、可用时的与授权作者文本的描述性偏差、未解决的诊断模式与作者确认,并显式输出 authorship inference=not_performed,不声称任何检测器通过。

八、小结

PaperSpine 的评估体系完成了一次关键迁移:从"检测器得分决定成败"转向"语义不变量 + held-out 控制组 + 独立审计 + 作者确认"的证据链模型。这套方法论的核心在于三点——检测器结果降级为可选观察记录、假改写率与语义零漂移成为硬约束、任何新规则都必须通过 held-out 验证且不得引入语义回归。对于需要复现或扩展该评估的研究者,仓库中的 author_voice_check.py(不变量与审计实现)、humanize_check.py(兼容诊断)、author-voice-restoration.schema.json(修订契约)、author-voice-profile.schema.json(语料授权契约)以及 tests/test_progress_check.py(门禁与 no_op 用例)是可直接对照的参考实现。

登录后查看全文
PaperSpine