PaperSpine 作者语气校准指南:检测器阈值退役后的语义不变量评估体系
PaperSpine 作者语气校准指南:检测器阈值退役后的语义不变量评估体系
导读
本篇以 PaperSpine 的 humanize-calibration.md(即 Authorial Voice Restoration Evaluation)为骨架,完整解析 legacy humanize 路线中"AI 检测器阈值校准"如何被一套以语义不变量为核心的硬指标评估体系取代。你将掌握:主评估集的 9 类受控样本如何构造、8 项硬指标在源码 author_voice_check.py 中如何逐条落地为 BLOCKER 判定、外部检测器结果应如何降级为纯观察记录,以及新规则采纳的准入条件。读完即可把这份校准规范映射为可运行的验证命令与门禁检查。
一、背景与定位:为什么废除检测器阈值校准
1.1 从 humanize_tier 到 author_voice_restoration 的能力重定义
humanize-calibration.md 开篇即声明其使命:"This file replaces detector-threshold calibration for the legacy humanize route." 在 PaperSpine 的演进中,旧的 humanize_tier=light|medium|heavy 配置值仍保留为兼容开关,但只负责启用这条处理通道,不再选择任何检测器阈值;新配置统一使用 author_voice_restoration=standard|strict|off(见主文档 humanize.md)。这意味着:
- 被废弃的是"调节文风直到检测器打分变低"的优化目标;
- 被保留并被强化的,是"作者语气恢复(Authorial Voice Restoration)"这一能力本身——它不是 AI 检测规避,而是恢复作者自己的学术语气。
在仓库的方法路由表 current-method-routing.json 中,humanize-calibration.md 对应的 current_application 明确写道:评估数据只在明确研发验证任务中构造,不修改真实研究结果,也不启动新的优化轮;detector 阈值正式退役,固定 train/test 与 stale 作者确认用例不再要求每稿运行。
1.2 两个检查器的权威层级
这套设计在源码中体现为权威层级分明的双检查器结构:
| 检查器 | 权威性 | 职责 |
|---|---|---|
| author_voice_check.py | 权威(读入门禁) | 校验修订来源(provenance)与硬语义不变量,模板化文风仅作 advisory 诊断 |
| humanize_check.py | 兼容诊断(readiness_authority=False) |
仅为旧版产物提供 D1–D5 观察,无任何就绪(readiness)裁决权 |
humanize_check.py 的模块 docstring 明确:"This module is intentionally non-authoritative. It does not identify AI authorship, estimate an AI percentage, or fail prose for sentence-length or connector patterns."其 D1(sentence structure)、D2(paragraph similarity)、D3(information density)、D4(connector frequency)、D5(term-context matching)观察结果全部以 ADVISORY 状态输出,HumanizeCheckResult.authority 恒为 "diagnostic_only"。这与校准文档"pattern density is not an authorship label"的立场完全一致。
二、主评估集(Primary Evaluation Set):9 类受控样本
校准文档要求使用冻结的 train/validation/test 手稿(frozen manuscripts),并在评估集中包含以下全部对照(controls)。每一类样本都能在 author_voice_check.py 的校验逻辑中找到对应的落点:
| # | 受控样本 | 验证目标 | 源码落点 |
|---|---|---|---|
| 1 | 机械润色文本,含已知的空框架与段落模板缺陷 | 模板缺陷诊断的召回率(advisory) | DIAGNOSTIC_PATTERNS:empty_framing、generic_importance、mechanical_enumeration、writing_process_leak、promotional_precision_gap |
| 2 | 注入数字/单位/引文/公式/受保护术语漂移的修订稿 | 硬指标第 1 项 | NUMBER_UNIT_RE、CITE_RE、extract_formulas、protected_term_counter |
| 3 | 注入否定/因果/情态/主张强度漂移的修订稿 | 硬指标第 2 项 | marker_counter(中英文标记词表) |
| 4 | 不支持的新主张突变(unsupported-new-claim) | 硬指标第 3 项 | semantic_audit.unsupported_new_claims 必须为 0 |
| 5 | 分章节的 Methods / Results / Discussion 案例 | 章节角色不误报 | 主文档 humanize.md 的 section-aware 规则 |
| 6 | 强人类作者文本(应保持 clean-text no-op) | 误改写率 | invalid_no_op 与 rewrite_without_change 判定 |
| 7 | 已授权与不可用作者语料案例 | 语气画像的合法边界 | profile 的 `status=available |
| 8 | stale hash、非独立审计、stale 作者确认案例 | 硬指标第 4 项 | _verify_file_spec、stale_semantic_audit、stale_author_confirmation |
样本 2、3 的"种子注入"之所以必要,是因为不变量检查器的检出能力只有在对已知漂移敏感时才有意义——这正是一个评估集而不是一组黑名单。样本 6 则保证评估不会滑向"改得越多越好"。
三、硬指标(Hard Metrics)逐条解析
校准文档列出的硬指标,与 author_voice_check.py 的 BLOCKER 判定是一一对应的。以下逐条展开并给出源码证据。
3.1 语义不变量漂移必须为零(前 4 项)
-
number/unit/citation/formula/protected-term drift: 0 —— 源码 author_voice_check.py 定义了一组不变量提取器(
invariant_extractors):numbers_units:由NUMBER_UNIT_RE(支持%、‰、mg/g/kg、mL/L、nm/μm/mm、°C/K、mol/mmol、nM/μM/mM等常见单位及×/fold表述)归一化提取;citations:同时解析 LaTeX\cite{...}与 Pandoc<a href="https://link.gitcode.com/i/f1b3673b671877b23db1b939cb920c51" target="_blank">@key]两种引文语法([第 52-53 行);formulas:覆盖行内$...$、\[...\]与equation/align/gather/multline环境;protected_terms:来自 profile 与修订请求中声明的受保护术语(方法名、变量、统计术语、数据集名等)。
修订前后任一提取器的
Counter出现差异,即产生semantic_invariant_drift这一 BLOCKER finding。 -
negation/causal direction/modality/claim-strength drift: 0 —— 由
marker_counter实现,内置中英文双语标记词表:否定词(not/no/never/neither/without/lack/failed与「不/未/无/没有/并非/不能/缺乏/失败」)、因果方向词(cause/because/therefore/resulted in/leads to/due to/associated with/correlated with与「导致/引起/造成/因为/因此/归因于/相关/关联」)、情态与主张强度词(may/might/could/suggest/likely/prove/demonstrate与「可能/或许/可以/提示/表明/证明/证实」)。 -
unsupported new claims: 0 —— 由独立语义审计方在
semantic_audit.unsupported_new_claims中声明,校验器强制该字段等于 0(第 490-496 行)。 -
stale authority、audit 或 author-confirmation 的误放行(false clears): 0 —— 这是对时间一致性的要求:
- 每个 authority 文件经
_verify_file_spec重算 SHA-256,与声明值不符即hash_mismatchBLOCKER;声明值格式非法即invalid_declared_hash; _resolve_local还会拦截任何试图逃逸输出根目录的路径(unsafe_path);- 语义审计的
original_sha256/revised_sha256与当前文件不符即stale_semantic_audit; - 作者确认的
confirmed_sha256与当前修订哈希不符即stale_author_confirmation。
- 每个 authority 文件经
一个关键设计:确定性差异是"检查信号"而非"改写指令"。主文档 humanize.md 指出,数字、归属、否定、因果方向或确证度(warranted certainty)的真实改变必须修复,但等价的措辞表达不会仅仅因为标记计数不同而被阻断——"do not block an equivalent expression merely because marker counts differ"。
3.2 过程类指标(后 4 项)
-
clean-text no-op 对照上的误改写率(false rewrite rate) ——
no_op模式要求:原始与修订字节级相同(original_hash == revised_hash),changes为空列表;任一违反都会产生invalid_no_opBLOCKER(第 439-443 行)。反之,哈希相同却声明rewrite会被rewrite_without_change拦截。no-op 是正向精确率证据,而非"错失降低 AI 分数的机会"。 -
作者对修订版与原版的盲选偏好(blind preference) —— 最终
author_confirmation.status必须为confirmed且绑定当前修订哈希,由作者本人(而非改写者)决定保留哪个版本。 -
独立领域专家的清晰度与科学保真度判断 ——
mode=rewrite时强制要求独立 Agent 执行语义审计(audit_method=independent_agent、independent_from_rewriter=true、reviewer_id != rewriter_id);违反即non_independent_audit或same_rewriter_reviewerBLOCKER。审计方拥有否决权,其 receipt 必须绑定原稿与修订稿两个哈希。 -
墙钟时间、模型 token/成本(如可得)、作者审阅时间 —— 作为效率与资源账目记录,最终随 author_voice_report.md 输出,供采纳决策参考。
3.3 指标口径的两个红线
校准文档特别强调两点,避免指标被误用:
- pattern precision/recall 可以按诊断分组单独测量,但 pattern density 不是作者身份标签。
scan_diagnostics扫描出的模板模式(空框架、通用重要性、机械枚举、写作过程泄漏、宣传性精确度落差)全部归入advisory_findings,并附注 "Pattern matches are diagnostic signals only; review them in section context and do not infer authorship"(第 458-465 行)。 - 记录章节角色(section role),使 Methods 中正常的程序化重复默认不计为缺陷。这与主文档的 section-aware 规则一致:Methods 保持术语稳定与主语清晰、不强制句长起伏(burstiness);Results 直接陈述观察、数字贴近证据;Discussion 恢复作者真正的优先级与权衡,而非制造犹豫或自信;Introduction/Abstract 删除通用重要性框架。
四、可选检测器观察:外部结果如何降级为纯观察
校准文档规定:仅当用户已持有外部检测器结果时才记录,且必须记录以下字段:
- 平台(platform)、日期(date)、语言(language)、学科(discipline);
- 文档哈希(document hash)与精确修订哈希(exact revision hash);
- 平台自身的不确定性声明(the platform's own uncertainty)。
同时有三条禁令,在源码与路由配置中均有呼应:
- 绝不基于单次结果优化阈值 —— 方法路由 current-method-routing.json 对
detection_platform旧配置的说明是:只有用户主动提供检测结果时才记录工具/日期/版本,默认不将私稿外发去跑检测; - 绝不承诺跨平台迁移性(transfer to another platform);
- 绝不以检测器作为作者身份证明 —— 生成的报告固定输出
authorship inference=not_performed与Detector pass / AI percentage: not_claimed(to_markdown)。
换言之,检测器分数既不是验收门槛,也不能单独成为改写的理由("never acceptance gates and never justify a revision by themselves")。同样,风格偏差(style deviation)也只输出描述性距离:_style_deviation 计算 5 个归一化组件(句长均值、句长变异系数、连接词密度、第一人称密度、模糊限制语密度)的欧氏距离,但其解释字段恒为 descriptive_distance_only_not_authorship_evidence(第 266-282 行),作者语料不可用时明确返回 authorized_author_corpus_unavailable,而不是用他人文风填充。
五、采纳规则:新规则的准入条件
校准文档给出的采纳规则可以表述为一条四重门,任何新规则必须同时满足:
- 在留出集(held-out)上改善清晰度/语气偏好(clarity/voice preference);
- 改善修复精确率(repair precision);
- 无任何语义不变量回归(without any semantic-invariant regression);
- clean-text no-op 的误改写率不升高(without increasing the clean-text false-rewrite rate)。
最后一句强调:"A lower detector score alone is insufficient."(仅降低检测分数本身不足以采纳任何规则)。这条规则与"主评估集 + 硬指标"形成闭环:评估集提供衡量改善的基准,硬指标提供回归检测,而误改写率守卫防止精确率被牺牲。
六、把校准规范落地为可运行的验证链
6.1 契约文件先行
校准评估最终要通过三类契约 JSON 来承载,均可在仓库中找到对应 schema:
- author-voice-profile.schema.json:
contract=paperspine.author-voice-profile;status只能为available或unavailable;available至少一个authorized_sources(授权类型限定author_owned|explicitly_authorized,来源类型限定prior_paper|proposal|review_response|research_note|other);unavailable必须提供unavailable_reason且authorized_sources为空; - author-voice-restoration.schema.json:
contract=paperspine.author-voice-restoration;mode仅rewrite|no_op;rewrite要求非空changes且审计方法为independent_agent;no_op要求changes为空;每条 change 必须携带change_id/source_locator/revised_locator/reason/evidence_anchor,reason限定为delete_empty_framing|restore_author_preference|clarify_claim_evidence_link|remove_unsupported_evaluation|repair_paragraph_function|section_register|other_reader_facing_problem; - author-voice-receipt.schema.json:
status仅PASS|BLOCKED,承载全部 findings、invariants、diagnostics。
一个值得注意的细节:校验器对输出语言做显式声明管理(output_language 支持 en 与 zh 及区域子标签),profile 与修订请求的语言标签不一致会触发 language_declaration_mismatch BLOCKER;不支持的语言不会静默回退英文评估,而是明确报告 unsupported_language_assessment。
6.2 运行校验器与门禁
在完成一次作者语气恢复后,运行(命令见 humanize.md):
python scripts/author_voice_check.py paper_rewriting_output --markdown --write
CLI 参数说明(parse_args):output_dir 默认 paper_rewriting_output;--request / --profile 可覆盖 author_voice_revision.json 与 author_voice_profile.json 的默认路径;--json 输出 JSON 负载;--markdown 输出 Markdown 报告;--write 落盘 author_voice_receipt.json 与 author_voice_report.md;退出码 0 为 PASS、1 为 BLOCKED。
随后在流水线层面跑就绪门禁:
python scripts/progress_check.py paper_rewriting_output --gate author_voice_restoration
progress_check.py 中该阶段(config_dependent=True)要求 4 个产物齐全:author_voice_profile.json、author_voice_revision.json、author_voice_receipt.json、author_voice_report.md(第 106-111 行)。配置 author_voice_restoration=off 时门禁自动跳过;standard|strict 时启用。更严格的是:integrity_audit 与 final_audit 阶段会在独立评审开始前复检 author-voice 报告,若报告为 BLOCKED 则阻断后续评审(第 1179-1195 行)——这正是校准文档"stale 放行必须为零"在流水线层的体现。
6.3 测试用例验证行为契约
test_progress_check.py 给出了与本文档硬指标直接对应的行为契约样例:
_add_valid_author_voice_no_op构造了一个合法的 no-op fixture:原始与修订字节相同、audit_method=deterministic_identity、作者确认绑定当前哈希(第 74-139 行);test_author_voice_gate_accepts_clean_text_no_op证明 clean-text no-op 能通过门禁(GATE PASSED);test_author_voice_gate_requires_auditable_receipts_when_enabled证明启用时缺 receipt 即 BLOCKED;test_integrity_gate_rechecks_author_voice_before_review在构造合法 no-op 后篡改final_paper/main.tex,随后integrity_audit门禁以失败告终——直观演示了 stale-hash 检出。
七、总结:评估哲学的三条底线
把全文浓缩为三条可复用的工程底线:
- 身份证明不可伪造:任何模式密度、风格距离、外部检测分数都只能作为诊断/观察,报告显式输出
authorship inference=not_performed;作者身份只能由授权语料与作者本人确认来承载。 - 语义不变量是不可谈判的:数字、单位、引文、公式、受保护术语、否定、因果方向、情态与主张强度、不支持的新主张——全部要求零漂移,由 author_voice_check.py 以哈希绑定与计数器比对的方式强制。
- 评估必须对抗自身过拟合:冻结的 train/validation/test 手稿、clean-text no-op 对照、盲选偏好、独立领域专家与独立语义审计、以及"仅降低检测分数不足以采纳"的规则,共同防止评估体系把"看起来更不像 AI"误当成"更科学、更清晰、更像作者"。
对需要继续深挖的读者,建议按此路径阅读仓库源码:humanize-calibration.md(本规范)→ humanize.md(完整工作流)→ author_voice_check.py(校验实现)→ 三个契约 schema → progress_check.py 的 author_voice_restoration 门禁 → test_progress_check.py(行为契约)。