PaperSpine 作者语气校准指南:检测器阈值退役后的语义不变量评估体系

原创2026-10-12 11:49:261,894 阅读
文章标签:人工智能AI 技能AI 写作

PaperSpine 作者语气校准指南:检测器阈值退役后的语义不变量评估体系

导读

本篇以 PaperSpine 的 humanize-calibration.md(即 Authorial Voice Restoration Evaluation)为骨架,完整解析 legacy humanize 路线中"AI 检测器阈值校准"如何被一套以语义不变量为核心的硬指标评估体系取代。你将掌握:主评估集的 9 类受控样本如何构造、8 项硬指标在源码 author_voice_check.py 中如何逐条落地为 BLOCKER 判定、外部检测器结果应如何降级为纯观察记录,以及新规则采纳的准入条件。读完即可把这份校准规范映射为可运行的验证命令与门禁检查。

一、背景与定位:为什么废除检测器阈值校准

1.1 从 humanize_tier 到 author_voice_restoration 的能力重定义

humanize-calibration.md 开篇即声明其使命:"This file replaces detector-threshold calibration for the legacy humanize route." 在 PaperSpine 的演进中,旧的 humanize_tier=light|medium|heavy 配置值仍保留为兼容开关,但只负责启用这条处理通道,不再选择任何检测器阈值;新配置统一使用 author_voice_restoration=standard|strict|off(见主文档 humanize.md)。这意味着:

  • 被废弃的是"调节文风直到检测器打分变低"的优化目标;
  • 被保留并被强化的,是"作者语气恢复(Authorial Voice Restoration)"这一能力本身——它不是 AI 检测规避,而是恢复作者自己的学术语气。

在仓库的方法路由表 current-method-routing.json 中,humanize-calibration.md 对应的 current_application 明确写道:评估数据只在明确研发验证任务中构造,不修改真实研究结果,也不启动新的优化轮;detector 阈值正式退役,固定 train/test 与 stale 作者确认用例不再要求每稿运行。

1.2 两个检查器的权威层级

这套设计在源码中体现为权威层级分明的双检查器结构:

检查器 权威性 职责
author_voice_check.py 权威(读入门禁) 校验修订来源(provenance)与硬语义不变量,模板化文风仅作 advisory 诊断
humanize_check.py 兼容诊断(readiness_authority=False) 仅为旧版产物提供 D1–D5 观察,无任何就绪(readiness)裁决权

humanize_check.py 的模块 docstring 明确:"This module is intentionally non-authoritative. It does not identify AI authorship, estimate an AI percentage, or fail prose for sentence-length or connector patterns."其 D1(sentence structure)、D2(paragraph similarity)、D3(information density)、D4(connector frequency)、D5(term-context matching)观察结果全部以 ADVISORY 状态输出,HumanizeCheckResult.authority 恒为 "diagnostic_only"。这与校准文档"pattern density is not an authorship label"的立场完全一致。

二、主评估集(Primary Evaluation Set):9 类受控样本

校准文档要求使用冻结的 train/validation/test 手稿(frozen manuscripts),并在评估集中包含以下全部对照(controls)。每一类样本都能在 author_voice_check.py 的校验逻辑中找到对应的落点:

# 受控样本 验证目标 源码落点
1 机械润色文本,含已知的空框架与段落模板缺陷 模板缺陷诊断的召回率(advisory) DIAGNOSTIC_PATTERNS:empty_framing、generic_importance、mechanical_enumeration、writing_process_leak、promotional_precision_gap
2 注入数字/单位/引文/公式/受保护术语漂移的修订稿 硬指标第 1 项 NUMBER_UNIT_RE、CITE_RE、extract_formulas、protected_term_counter
3 注入否定/因果/情态/主张强度漂移的修订稿 硬指标第 2 项 marker_counter(中英文标记词表)
4 不支持的新主张突变(unsupported-new-claim) 硬指标第 3 项 semantic_audit.unsupported_new_claims 必须为 0
5 分章节的 Methods / Results / Discussion 案例 章节角色不误报 主文档 humanize.md 的 section-aware 规则
6 强人类作者文本(应保持 clean-text no-op) 误改写率 invalid_no_op 与 rewrite_without_change 判定
7 已授权与不可用作者语料案例 语气画像的合法边界 profile 的 `status=available
8 stale hash、非独立审计、stale 作者确认案例 硬指标第 4 项 _verify_file_spec、stale_semantic_audit、stale_author_confirmation

样本 2、3 的"种子注入"之所以必要,是因为不变量检查器的检出能力只有在对已知漂移敏感时才有意义——这正是一个评估集而不是一组黑名单。样本 6 则保证评估不会滑向"改得越多越好"。

三、硬指标(Hard Metrics)逐条解析

校准文档列出的硬指标,与 author_voice_check.py 的 BLOCKER 判定是一一对应的。以下逐条展开并给出源码证据。

3.1 语义不变量漂移必须为零(前 4 项)

  1. number/unit/citation/formula/protected-term drift: 0 —— 源码 author_voice_check.py 定义了一组不变量提取器(invariant_extractors):

    • numbers_units:由 NUMBER_UNIT_RE(支持 %、‰、mg/g/kg、mL/L、nm/μm/mm、°C/K、mol/mmol、nM/μM/mM 等常见单位及 ×/fold 表述)归一化提取;
    • citations:同时解析 LaTeX \cite{...} 与 Pandoc <a href="https://link.gitcode.com/i/f1b3673b671877b23db1b939cb920c51" target="_blank">@key] 两种引文语法([第 52-53 行);
    • formulas:覆盖行内 $...$、\[...\] 与 equation/align/gather/multline 环境;
    • protected_terms:来自 profile 与修订请求中声明的受保护术语(方法名、变量、统计术语、数据集名等)。

    修订前后任一提取器的 Counter 出现差异,即产生 semantic_invariant_drift 这一 BLOCKER finding。

  2. negation/causal direction/modality/claim-strength drift: 0 —— 由 marker_counter 实现,内置中英文双语标记词表:否定词(not/no/never/neither/without/lack/failed 与「不/未/无/没有/并非/不能/缺乏/失败」)、因果方向词(cause/because/therefore/resulted in/leads to/due to/associated with/correlated with 与「导致/引起/造成/因为/因此/归因于/相关/关联」)、情态与主张强度词(may/might/could/suggest/likely/prove/demonstrate 与「可能/或许/可以/提示/表明/证明/证实」)。

  3. unsupported new claims: 0 —— 由独立语义审计方在 semantic_audit.unsupported_new_claims 中声明,校验器强制该字段等于 0(第 490-496 行)。

  4. stale authority、audit 或 author-confirmation 的误放行(false clears): 0 —— 这是对时间一致性的要求:

    • 每个 authority 文件经 _verify_file_spec 重算 SHA-256,与声明值不符即 hash_mismatch BLOCKER;声明值格式非法即 invalid_declared_hash;
    • _resolve_local 还会拦截任何试图逃逸输出根目录的路径(unsafe_path);
    • 语义审计的 original_sha256/revised_sha256 与当前文件不符即 stale_semantic_audit;
    • 作者确认的 confirmed_sha256 与当前修订哈希不符即 stale_author_confirmation。

一个关键设计:确定性差异是"检查信号"而非"改写指令"。主文档 humanize.md 指出,数字、归属、否定、因果方向或确证度(warranted certainty)的真实改变必须修复,但等价的措辞表达不会仅仅因为标记计数不同而被阻断——"do not block an equivalent expression merely because marker counts differ"。

3.2 过程类指标(后 4 项)

  1. clean-text no-op 对照上的误改写率(false rewrite rate) —— no_op 模式要求:原始与修订字节级相同(original_hash == revised_hash),changes 为空列表;任一违反都会产生 invalid_no_op BLOCKER(第 439-443 行)。反之,哈希相同却声明 rewrite 会被 rewrite_without_change 拦截。no-op 是正向精确率证据,而非"错失降低 AI 分数的机会"。

  2. 作者对修订版与原版的盲选偏好(blind preference) —— 最终 author_confirmation.status 必须为 confirmed 且绑定当前修订哈希,由作者本人(而非改写者)决定保留哪个版本。

  3. 独立领域专家的清晰度与科学保真度判断 —— mode=rewrite 时强制要求独立 Agent 执行语义审计(audit_method=independent_agent、independent_from_rewriter=true、reviewer_id != rewriter_id);违反即 non_independent_audit 或 same_rewriter_reviewer BLOCKER。审计方拥有否决权,其 receipt 必须绑定原稿与修订稿两个哈希。

  4. 墙钟时间、模型 token/成本(如可得)、作者审阅时间 —— 作为效率与资源账目记录,最终随 author_voice_report.md 输出,供采纳决策参考。

3.3 指标口径的两个红线

校准文档特别强调两点,避免指标被误用:

  • pattern precision/recall 可以按诊断分组单独测量,但 pattern density 不是作者身份标签。scan_diagnostics 扫描出的模板模式(空框架、通用重要性、机械枚举、写作过程泄漏、宣传性精确度落差)全部归入 advisory_findings,并附注 "Pattern matches are diagnostic signals only; review them in section context and do not infer authorship"(第 458-465 行)。
  • 记录章节角色(section role),使 Methods 中正常的程序化重复默认不计为缺陷。这与主文档的 section-aware 规则一致:Methods 保持术语稳定与主语清晰、不强制句长起伏(burstiness);Results 直接陈述观察、数字贴近证据;Discussion 恢复作者真正的优先级与权衡,而非制造犹豫或自信;Introduction/Abstract 删除通用重要性框架。

四、可选检测器观察:外部结果如何降级为纯观察

校准文档规定:仅当用户已持有外部检测器结果时才记录,且必须记录以下字段:

  • 平台(platform)、日期(date)、语言(language)、学科(discipline);
  • 文档哈希(document hash)与精确修订哈希(exact revision hash);
  • 平台自身的不确定性声明(the platform's own uncertainty)。

同时有三条禁令,在源码与路由配置中均有呼应:

  1. 绝不基于单次结果优化阈值 —— 方法路由 current-method-routing.json 对 detection_platform 旧配置的说明是:只有用户主动提供检测结果时才记录工具/日期/版本,默认不将私稿外发去跑检测;
  2. 绝不承诺跨平台迁移性(transfer to another platform);
  3. 绝不以检测器作为作者身份证明 —— 生成的报告固定输出 authorship inference=not_performed 与 Detector pass / AI percentage: not_claimed(to_markdown)。

换言之,检测器分数既不是验收门槛,也不能单独成为改写的理由("never acceptance gates and never justify a revision by themselves")。同样,风格偏差(style deviation)也只输出描述性距离:_style_deviation 计算 5 个归一化组件(句长均值、句长变异系数、连接词密度、第一人称密度、模糊限制语密度)的欧氏距离,但其解释字段恒为 descriptive_distance_only_not_authorship_evidence(第 266-282 行),作者语料不可用时明确返回 authorized_author_corpus_unavailable,而不是用他人文风填充。

五、采纳规则:新规则的准入条件

校准文档给出的采纳规则可以表述为一条四重门,任何新规则必须同时满足:

  1. 在留出集(held-out)上改善清晰度/语气偏好(clarity/voice preference);
  2. 改善修复精确率(repair precision);
  3. 无任何语义不变量回归(without any semantic-invariant regression);
  4. clean-text no-op 的误改写率不升高(without increasing the clean-text false-rewrite rate)。

最后一句强调:"A lower detector score alone is insufficient."(仅降低检测分数本身不足以采纳任何规则)。这条规则与"主评估集 + 硬指标"形成闭环:评估集提供衡量改善的基准,硬指标提供回归检测,而误改写率守卫防止精确率被牺牲。

六、把校准规范落地为可运行的验证链

6.1 契约文件先行

校准评估最终要通过三类契约 JSON 来承载,均可在仓库中找到对应 schema:

  • author-voice-profile.schema.json:contract=paperspine.author-voice-profile;status 只能为 available 或 unavailable;available 至少一个 authorized_sources(授权类型限定 author_owned|explicitly_authorized,来源类型限定 prior_paper|proposal|review_response|research_note|other);unavailable 必须提供 unavailable_reason 且 authorized_sources 为空;
  • author-voice-restoration.schema.json:contract=paperspine.author-voice-restoration;mode 仅 rewrite|no_op;rewrite 要求非空 changes 且审计方法为 independent_agent;no_op 要求 changes 为空;每条 change 必须携带 change_id/source_locator/revised_locator/reason/evidence_anchor,reason 限定为 delete_empty_framing|restore_author_preference|clarify_claim_evidence_link|remove_unsupported_evaluation|repair_paragraph_function|section_register|other_reader_facing_problem;
  • author-voice-receipt.schema.json:status 仅 PASS|BLOCKED,承载全部 findings、invariants、diagnostics。

一个值得注意的细节:校验器对输出语言做显式声明管理(output_language 支持 en 与 zh 及区域子标签),profile 与修订请求的语言标签不一致会触发 language_declaration_mismatch BLOCKER;不支持的语言不会静默回退英文评估,而是明确报告 unsupported_language_assessment。

6.2 运行校验器与门禁

在完成一次作者语气恢复后,运行(命令见 humanize.md):

python scripts/author_voice_check.py paper_rewriting_output --markdown --write

CLI 参数说明(parse_args):output_dir 默认 paper_rewriting_output;--request / --profile 可覆盖 author_voice_revision.json 与 author_voice_profile.json 的默认路径;--json 输出 JSON 负载;--markdown 输出 Markdown 报告;--write 落盘 author_voice_receipt.json 与 author_voice_report.md;退出码 0 为 PASS、1 为 BLOCKED。

随后在流水线层面跑就绪门禁:

python scripts/progress_check.py paper_rewriting_output --gate author_voice_restoration

progress_check.py 中该阶段(config_dependent=True)要求 4 个产物齐全:author_voice_profile.json、author_voice_revision.json、author_voice_receipt.json、author_voice_report.md(第 106-111 行)。配置 author_voice_restoration=off 时门禁自动跳过;standard|strict 时启用。更严格的是:integrity_audit 与 final_audit 阶段会在独立评审开始前复检 author-voice 报告,若报告为 BLOCKED 则阻断后续评审(第 1179-1195 行)——这正是校准文档"stale 放行必须为零"在流水线层的体现。

6.3 测试用例验证行为契约

test_progress_check.py 给出了与本文档硬指标直接对应的行为契约样例:

  • _add_valid_author_voice_no_op 构造了一个合法的 no-op fixture:原始与修订字节相同、audit_method=deterministic_identity、作者确认绑定当前哈希(第 74-139 行);
  • test_author_voice_gate_accepts_clean_text_no_op 证明 clean-text no-op 能通过门禁(GATE PASSED);
  • test_author_voice_gate_requires_auditable_receipts_when_enabled 证明启用时缺 receipt 即 BLOCKED;
  • test_integrity_gate_rechecks_author_voice_before_review 在构造合法 no-op 后篡改 final_paper/main.tex,随后 integrity_audit 门禁以失败告终——直观演示了 stale-hash 检出。

七、总结:评估哲学的三条底线

把全文浓缩为三条可复用的工程底线:

  1. 身份证明不可伪造:任何模式密度、风格距离、外部检测分数都只能作为诊断/观察,报告显式输出 authorship inference=not_performed;作者身份只能由授权语料与作者本人确认来承载。
  2. 语义不变量是不可谈判的:数字、单位、引文、公式、受保护术语、否定、因果方向、情态与主张强度、不支持的新主张——全部要求零漂移,由 author_voice_check.py 以哈希绑定与计数器比对的方式强制。
  3. 评估必须对抗自身过拟合:冻结的 train/validation/test 手稿、clean-text no-op 对照、盲选偏好、独立领域专家与独立语义审计、以及"仅降低检测分数不足以采纳"的规则,共同防止评估体系把"看起来更不像 AI"误当成"更科学、更清晰、更像作者"。

对需要继续深挖的读者,建议按此路径阅读仓库源码:humanize-calibration.md(本规范)→ humanize.md(完整工作流)→ author_voice_check.py(校验实现)→ 三个契约 schema → progress_check.py 的 author_voice_restoration 门禁 → test_progress_check.py(行为契约)。

登录后查看全文
PaperSpine