ARIS 引用纪律与幻觉预防实战指南:从五步验证协议到 BibTeX 管理

原创2026-09-21 15:36:391,926 阅读
文章标签:AI 技能人工智能AI 评测科研MCP 服务工作流自动化

ARIS 引用纪律与幻觉预防实战指南:从五步验证协议到 BibTeX 管理

本文以 ARIS 项目中的 引用纪律与幻觉预防规范 为主体,结合 verify_papers.py 源码与 research-lit、citation-audit 等 Skill 的实际调用链,系统讲解如何让 LLM 驱动的科研流水线杜绝"看起来合理"的伪造引用——从搜索时刻的 Pre-Search Verification Protocol,到提交时刻的 BibTeX 审计,再到最终输出的验证痕迹纪律。读完你将掌握一套可落地的五步验证工作流、三层 API 回退机制与完整的 BibTeX 管理规范。

为什么要做引用验证:危险的不是"假得离谱",而是"假得可信"

典型的引用幻觉模式

在 LLM 辅助科研的场景下,最危险的引用错误通常不是一眼可识别的完全伪造引用,而是看起来足够合理、足以蒙混过关的引用。ARIS 的引用纪律规范明确列出了五类高频幻觉模式:

  • 真实作者 + 伪造标题:作者存在,但标题是模型臆造的;
  • 真实标题 + 错误年份:论文真实存在,但年份被张冠李戴;
  • 真实 arXiv ID + 错误 venue:预印本 ID 正确,但发表的会议/期刊信息错误;
  • 真实主题 + 不存在的 DOI:主题相关,DOI 却无法解析;
  • 预印本与正式版被静默合并:一个条目里混入了 arXiv 版本和正式发表版本。

这些错误肉眼难以察觉,却会在投稿、评审和 rebuttal 阶段造成不成比例的伤害。因此规范提出核心原则:绝不从记忆生成引用(Never generate citations from memory)。如果一条引用无法通过程序化验证或来自可信项目材料,就必须显式标记为 unresolved、告知用户,且绝不编造一个看起来合理的 BibTeX 条目。

引用质量差的双层后果

  • 轻度后果:审稿人判定 related-work 部分不可靠;参考文献列表凌乱,暴露出低信任度的工作流;因为被引文献实际上并不支持论文所归因的论断,claims 显得缺乏支撑。
  • 严重后果:被点名批评为幻觉引用(hallucinated references);在 desk check 或后续评审中暴露合规问题;围绕论文产生本可避免的信任危机。

数据源选择:谁适合查什么

ARIS 引用纪律文档提供了一张数据源能力对照表,这是选择验证通道的第一决策依据:

数据源 最佳用途 优势 注意点
DBLP CS/ML 会议论文、BibTeX 检索 结构性强、venue 元数据强 部分预印本在 arXiv 覆盖更好
CrossRef DOI 查询、BibTeX 内容协商 DOI 存在时的官方元数据来源 质量取决于 DOI 注册情况
Semantic Scholar 论文搜索、引用图、摘要查询 ML 文献发现体验好 免费访问可能限流
arXiv 预印本查询 ML 预印本覆盖强 不能替代正式出版物元数据
OpenAlex 开放元数据图、交叉验证 覆盖面广、可作为第二数据源 结构与 DBLP 惯例可能有差异

文档给出的通用决策逻辑如下:

Need to search ML papers -> Semantic Scholar / DBLP
Already have a DOI -> CrossRef content negotiation
Only have an arXiv clue -> arXiv + CrossRef / Semantic Scholar for cross-checking
Need a second verification source -> OpenAlex / Semantic Scholar / arXiv

值得注意的是,Google Scholar 不是默认的验证支柱——"我在 Scholar 里手工找到了"不能被当作干净、可信、结构化的元数据同等对待。这恰好对应了 research-lit 中"只运行在显式请求时"的 S2/OpenAlex 等来源设计:默认的 — sources: all 只覆盖 zotero/obsidian/local/web 四层,semantic-scholar、openalex 等必须显式列出,以确保检索通道可审计、可预期。

标准验证工作流:五步流程

引用纪律文档定义了从检索到入库的完整五步流程:

1. SEARCH   -> find candidate papers
2. VERIFY   -> confirm the paper exists in at least two trustworthy sources
3. RETRIEVE -> get BibTeX programmatically
4. VALIDATE -> confirm the claim you cite is really supported by the paper
5. ADD      -> add the entry to the bibliography with clean keys and formatting

Step 1:Search——具体化检索而非宽泛主题词

优先使用具体查询,而非宽泛的主题词。文档推荐的高质量查询模式:

  • 论文标题 + 第一作者
  • 方法名 + 数据集 + 第一作者
  • 论断关键词 + 作者
  • 标题中的精确短语

搜索过程中必须记录:标题、作者、年份、DOI、arXiv ID、venue/期刊。如果出现多篇相似论文,不要立即写入 .bib,先比较标题细节、年份和作者顺序。

Step 2:Verify——至少在两个可信来源确认存在

理想情况下,同一篇论文需在两个来源确认,例如:Semantic Scholar + CrossRef、DBLP + DOI、arXiv + Semantic Scholar、DBLP + OpenAlex。判定"这是同一篇论文"的最低标准是:

  • 标题高度匹配;
  • 第一作者匹配;
  • 年份匹配或可解释;
  • DOI 和/或 arXiv ID 匹配。

如果只在单一来源找到论文,这条引用仍不够稳定。

Step 3:Retrieve——程序化获取 BibTeX

获取顺序(优先到后备):

  1. 直接从 DBLP 获取 .bib;
  2. DOI 内容协商(content negotiation);
  3. 仅在元数据基础已可信时才手工补全。

DBLP 的两种 API 模式:

curl -s "https://dblp.org/search/publ/api?q=TITLE+AUTHOR&format=json&h=3"
curl -s "https://dblp.org/rec/{key}.bib"

CrossRef / DOI 内容协商模式:

curl -sLH "Accept: application/x-bibtex" "https://doi.org/{doi}"

如果 DBLP 与 DOI 都失败,转入显式占位符处理,而不是猜测。

Step 4:Validate——验证论断(最常被跳过、也最重要的一步)

在写下"X first proved…""Y showed that…""Prior work found…""Z outperformed B on benchmark A…"这类论断之前,必须确认被引论文确实支持该陈述。最低标准是:

  • 论断直接由标题、摘要或引言支持;
  • 或已亲自阅读论文中的相关章节、表格、定理或图表。

规范明确禁止三种行为:因为标题看起来相关就假定论文支持你的论断;不做核实就继承他人 related-work 中的论断;把"这篇论文主题相同"等同于"这篇论文建立了这个精确陈述"。

Step 5:Add——只有前四步完成才入库

入库前检查:条目类型是否正确?作者是否完整?年份与 venue 是否准确?引用键是否符合项目风格?是否与已有条目重复?

Pre-Search Verification Protocol:把幻觉拦截在搜索时刻

这是整个引用纪律体系中最具工程价值的部分。它作为 Step 1(SEARCH)与 Step 2(完整 VERIFY)之间的快速过滤器,在搜索时刻就拦截 LLM 幻觉——避免伪造的 arXiv ID / DOI / 标题传播进入 idea-creator、novelty-check、landscape 综述及下游写作环节。

该协议由 verify_papers.py 实现(canonical name;helper 路径按 integration-contract.md §2 Policy D1 解析)。脚本被 research-lit(Step 1.5,强制)调用,并被 idea-creator 与 novelty-check 作为被引论文的必需过滤器引用。

三层回退机制

  1. arXiv API 批量验证 — arxiv.org/api/query?id_list=... 每次请求最多确认 40 个 arXiv ID。最廉价、最具权威性,只要存在 arXiv ID 就总是最先运行。在源码中对应 verify_arxiv_batch()(tools/verify_papers.py):对每个批次做 3 次指数退避重试,持久失败时把批次对半拆分再试,直到单条仍失败才标记 verify_pending。
  2. CrossRef DOI 查询 — api.crossref.org/works/{doi} 确认 DOI 可解析。当 arXiv ID 缺失或 arXiv 检查返回 unverified 时运行。源码中 verify_doi()(tools/verify_papers.py)在 200 时判定 verified、404 时判定 unverified、瞬时错误重试 2 次后返回 verify_pending。
  3. Semantic Scholar 模糊标题搜索 — api.semanticscholar.org/graph/v1/paper/search,使用归一化模糊匹配(默认词重叠阈值 0.6,max(words1, words2) 为分母)。仅当既无 arXiv ID、且(无 DOI 或 DOI 验证失败)时运行。源码中 verify_title_s2()(tools/verify_papers.py)先对标题做 Unicode NFKD + 小写 + 去标点 + 折叠空白归一化,再计算查询词与候选标题词集合的重叠率,达到阈值即返回 verified 并带回 S2 的 arXiv ID / DOI 交叉标识。

每篇论文的四态状态机

  • verified — 至少一层确认存在;
  • unverified — 所有适用层均正常运行且未找到匹配;
  • verify_pending — 任一层遇到瞬时失败(超时、5xx、限流)且更早的层未验证;不计入幻觉率;
  • error — 输入条目本身格式错误(无 arXiv、无 DOI、无标题)。

顶层判定(verdict)

与 assurance-contract.md 松散对齐:

  • PASS — 幻觉率 ≤ 阈值(默认 0.20)且无 pending;
  • WARN — 幻觉率 > 阈值或存在 pending;
  • BLOCKED — 输入/输出/缓存前置条件缺失;
  • ERROR — 工具本身崩溃。

源码中 compute_verdict()(tools/verify_papers.py)实现此逻辑:hallucination_rate = unverified / (verified + unverified),pending_rate = pending / total;存在 error 输入、瞬时失败或高幻觉率时分别追加对应 warnings。

保留规则(胜过静默删除)

未验证的论文必须保留在下游输出中,并打上 [UNVERIFIED] 标签,让用户能审计被过滤的内容——静默删除会掩盖搜索质量问题。已验证论文打 ✅ 并标注验证方法(arxiv / crossref / s2 / s2_fallback_from_doi)。

高幻觉率告警

当终态结果(verified + unverified,排除 pending)中超过 20% 返回 unverified 时,向用户暴露 high_hallucination_rate。这是搜索查询或上游来源正在产出伪造条目的信号——应使用更窄的检索词重跑,再继续后续工作。

缓存机制

默认缓存范围为项目级,位于 <project>/.aris/cache/verify_papers.json,TTL 30 天。缓存键按规范标识符优先级取值:arxiv:{id_without_version} → doi:{lowercase} → title:{sha1_of_normalized_title}<a href="https://link.gitcode.com/i/7aee12068010c2de8667165d828e5a93" target="_blank">:16]。缓存值保留所有已知标识符,使同一篇论文经由不同搜索路径找到时能正确归并。对应源码中的 cache_key_for()([tools/verify_papers.py)与 load_cache() / save_cache()(tools/verify_papers.py)。

CrossRef User-Agent 与礼貌池

设置 ARIS_VERIFY_EMAIL 为机构邮箱可降低 CrossRef 限流风险。默认是占位符 aris-research@anonymous.local——低流量使用没问题,但 CrossRef 更喜欢真实联系方式以获得更高礼貌池(polite pool)吞吐。源码在 main() 中读取该环境变量(tools/verify_papers.py),并在 _arxiv_user_agent() 中将其拼入 arXiv 请求的 User-Agent。

什么场景不使用本协议

这是搜索时刻过滤,不是提交时刻审计。它不替代 citation-audit(检查已写好的 .bib 条目与 DBLP/CrossRef 元数据 + 引用上下文的一致性),也不替代 paper-claim-audit(针对原始结果文件验证数值论断)。对候选列表运行 pre-search 验证;在提交前运行审计类 Skill。

调用合约:Policy D1 与完整 shell 片段

按 integration-contract.md §2,调用方(research-lit Step 1.5 强制、idea-creator、novelty-check)必须先通过 canonical 链解析 $VERIFY_PAPERS,再按 Policy D1(primary helper + first-success cascade + degraded-output fallback)调用。完整可复制的安全片段如下:

# 1. Resolve $VERIFY_PAPERS via the canonical strict-safe chain (§2).
cd "$(git rev-parse --show-toplevel 2>/dev/null || pwd)" || exit 1
if [ -z "${ARIS_REPO:-}" ] && [ -f .aris/installed-skills.txt ]; then
    ARIS_REPO=$(awk -F'\t' '$1=="repo_root"{print $2; exit}' .aris/installed-skills.txt 2>/dev/null) || true
fi
if [ -z "${ARIS_REPO:-}" ] && [ -f "$HOME/.aris/repo" ]; then
    ARIS_REPO=$(cat "$HOME/.aris/repo" 2>/dev/null) || true
fi
VERIFY_PAPERS=".aris/tools/verify_papers.py"
[ -f "$VERIFY_PAPERS" ] || VERIFY_PAPERS="tools/verify_papers.py"
[ -f "$VERIFY_PAPERS" ] || { [ -n "${ARIS_REPO:-}" ] && VERIFY_PAPERS="$ARIS_REPO/tools/verify_papers.py"; }
[ -f "$VERIFY_PAPERS" ] || VERIFY_PAPERS=""

# 2. Invoke (Policy D1 fallback wraps invocation failure too).
verify_ok=false
if [ -n "$VERIFY_PAPERS" ]; then
  if python3 "$VERIFY_PAPERS" --input candidate_papers.json --output verified_papers.json; then
    verify_ok=true
  fi
fi
if [ "$verify_ok" = "false" ]; then
  command -v python3 >/dev/null 2>&1 || { echo "ERROR: python3 unavailable; BLOCKED." >&2; exit 1; }
  echo "WARN: verify_papers.py unresolved or invocation failed; emitting [UNVERIFIED] fallback." >&2
  python3 - <<'PY'
import json
cands = json.load(open('candidate_papers.json'))
out = {
  'verdict': 'WARN',
  'reason_code': 'verify_papers_unavailable',
  'summary': 'verify_papers.py helper unresolved or invocation failed; all candidates tagged [UNVERIFIED] for audit visibility.',
  'papers': [dict(p, status='unverified', method='none') for p in cands],
}
with open('verified_papers.json', 'w') as f:
  json.dump(out, f, indent=2)
PY
fi

candidate_papers.json 输入 schema:

[
  {"id": "p1", "arxiv_id": "2307.03172", "doi": null, "title": "Lost in the Middle"},
  {"id": "p2", "arxiv_id": null, "doi": "10.1145/...", "title": null},
  {"id": "p3", "arxiv_id": null, "doi": null, "title": "Some Paper Title"}
]

verified_papers.json 输出 schema 顶层含 verdict,逐条含 status;完整 envelope 见 verify_papers.py 的 docstring。该工具还提供两种便捷入口:--arxiv-ids 2307.03172,2401.12345 和 --titles-file titles.txt,并支持通过 - 走 stdin/stdout(cat papers.json | python3 verify_papers.py --input - --output -)。全部 CLI 参数:--arxiv-batch-size(默认 40)、--s2-fuzzy-threshold(默认 0.6)、--cache-scope project|user|none、--cache-dir、--cache-ttl-days(默认 30)、--no-cache、--hallucination-warn-threshold(默认 0.2)。

在 research-lit 中的实际落地

research-lit 的 Step 1.5(强制)把该协议编入文献综述流程:从 Steps 0a-1 收集的所有候选论文必须先跑 verify_papers.py 过滤 LLM 伪造的 arXiv ID / DOI / 标题;scratch 文件放在 .aris/verify-papers/ 下(不能放 research-wiki/,以免误触 Step 6 的 wiki ingest 谓词)。其强制输出规则包括:每条论文打上状态标签(✅ verified (via arxiv|crossref|s2) / ⚠️ UNVERIFIED (reason) / … verify_pending);绝不静默丢弃未验证论文;绝不从记忆编造 DOI 或 arXiv ID(未知字段保持 null,helper 会落到标题搜索);helper 返回 WARN 带 high_hallucination_rate 时逐字暴露并建议更窄查询重跑;verify_pending 不得提升为 verified,需向用户展示并在下个会话重试。

如何把条目加入参考文献库:决策树与占位符策略

推荐决策树

Is there already a project-local .bib entry?
  Yes -> reuse it, then verify it
  No  -> continue

Can DBLP provide a direct .bib entry?
  Yes -> use DBLP
  No  -> continue

Do you have a DOI?
  Yes -> use DOI content negotiation
  No  -> continue

Can you confirm the paper in two trustworthy sources with enough metadata?
  Yes -> manually complete an entry from trusted metadata
  No  -> use an explicit placeholder and report it to the user

占位符策略

验证失败时,留下显式占位符而不是沉默造假:

% TODO: verify before submission
\cite{PLACEHOLDER_author2024_verify}

或在 .bib 文件内标记不确定性:

% [VERIFY] could not confirm DOI / venue / exact title

其原则是:让不确定性可见;把坏元数据挡在最终草稿之外;在定稿前上报未解决的引用。

BibTeX 管理规则

BibTeX vs BibLaTeX

该工作流仍优先兼容现有会议模板,不强制迁移到 BibLaTeX。两者的权衡如下:

方面 BibTeX BibLaTeX
Unicode 支持 较弱 更好
条目类型 标准 更丰富
后端 bibtex biber
与旧 venue 模板兼容性 通常更强 不总是安全

在本 Skill 包中,若模板已固定,优先兼容而非现代化。

引用键格式

优先使用稳定键格式:firstauthor_year_keyword。例如:

vaswani_2017_attention
devlin_2019_bert
brown_2020_language

如果项目已使用不同的键风格,保持一致性而非混搭。

只保留被引用的条目

不要把 references.bib 变成垃圾场:只保留实际被引用的条目;删除重复项;删除废弃键;当预印本与正式版同时存在时明确二选一。

何时优先正式版

当会议/期刊正式版明确存在时优先正式版:需要稳定的 venue 信息写 related work;页码/卷号/出版社元数据影响投稿质量。以下情况保留 arXiv 版本仍然合适:作品尚未正式发表;社区主要引用预印本;或特定版本对你所引用的内容至关重要。

常见条目模板

会议论文

@inproceedings{vaswani_2017_attention,
  title = {Attention Is All You Need},
  author = {Vaswani, Ashish and Shazeer, Noam and Parmar, Niki and
            Uszkoreit, Jakob and Jones, Llion and Gomez, Aidan N. and
            Kaiser, Lukasz and Polosukhin, Illia},
  booktitle = {Advances in Neural Information Processing Systems},
  year = {2017}
}

期刊论文

@article{hochreiter_1997_long,
  title = {Long Short-Term Memory},
  author = {Hochreiter, Sepp and Schmidhuber, J{\"u}rgen},
  journal = {Neural Computation},
  volume = {9},
  number = {8},
  pages = {1735--1780},
  year = {1997}
}

arXiv 预印本

@misc{brown_2020_language,
  title = {Language Models are Few-Shot Learners},
  author = {Brown, Tom and Mann, Benjamin and Ryder, Nick and others},
  year = {2020},
  eprint = {2005.14165},
  archiveprefix = {arXiv},
  primaryclass = {cs.CL}
}

常见失败与排查

案例 1:无结果

检查:标题是否拼错?作者是否拼错?查询是否过宽?是否应改用精确短语?修复手段:加上第一作者;加上年份;用标题中的特色短语而非宽泛主题词搜索。

案例 2:DOI 无法干净解析

可能原因:DOI 存在但未与 CrossRef 良好关联;DOI 不是该论文的最佳查询路径;作品主要是 arXiv 预印本。修复手段:回到 DBLP;在 Semantic Scholar / OpenAlex 交叉核对 DOI;仅当元数据已可靠时手工补全条目。

案例 3:多篇论文看起来相似

这是最危险的情形之一。检查:作者顺序、年份、标题措辞、摘要级论断,必要时查看 PDF 首页或相关章节。在这些匹配之前,不要假定任何一篇是正确的论文。

案例 4:BibTeX 编译错误

常见原因:缺失逗号、大括号不配对、特殊字符未转义、与模板不兼容的 Unicode。检查:每个字段是否正确收尾;标题文本是否需要 LaTeX 转义;带重音的作者名是否安全编码。

案例 5:同一篇论文存在两个键

修复:选择一个规范键;更新所有正文引用;删除重复条目。不要在最终参考文献表中留下两个几乎相同的条目。

最终验证检查清单

在把一条引用视为完成之前,逐项核对:

  • [ ] 论文至少在两个可信来源确认过
  • [ ] DOI 或 arXiv ID 已检查
  • [ ] BibTeX 已程序化获取或由可信元数据补全
  • [ ] 条目类型正确(@inproceedings、@article、@misc 等)
  • [ ] 作者列表完整且格式良好
  • [ ] 年份与 venue 已检查
  • [ ] 引用键符合项目风格
  • [ ] 所引用的具体论断确实由论文支持
  • [ ] 任何未解决的不确定性已用 [VERIFY] 或显式占位符标记

输出纪律:验证存在于 Trace,而非行文之中

引用纪律文档最后给出两条输出纪律(改编自 Anthropic Claude Science 的 literature-review skill,Apache-2.0):

第一条:绝不在输出中写"citations verified"这样的行。 无论是开头、页脚还是副标题——"All DOIs verified""no retraction flags""bibliography checked"都是流程叙述(process narration)。验证发生在工具 trace 中(verify_papers 运行、DBLP 查询、审计 JSON);读者从"引用的条目都能解析、论断都站得住"这件事本身去推断验证发生过。内容为"我验证了东西"的回复或章节不是内容。ARIS 特化规则:机器可读的验证记录属于审计工件(CITATION_AUDIT.json、traces),绝不以安慰性散文形式出现在论文或报告正文中。这一点与 citation-audit 的"始终产出 artifact、绝不自证"设计一致——paper/CITATION_AUDIT.json 是提交门(verify_paper_audits.sh)读取的真相来源。

第二条:风格/一致性 lint 只跑一次,作为 lint 而非"循环至干净"的门。 在完整草稿上运行一次,单次编辑过修复它列出的问题,然后继续;不要反复重跑直到返回干净。一个变成收敛循环的 lint 会烧掉轮次去打磨外观,而真正的质量/正确性收敛属于跨模型评审循环(reviewer loops),不属于 lint。

底线

当一条引用不确定时,留下显式的缺口,而不是默默发明元数据。

这既是 citation-discipline 的总结,也是 ARIS 证据链设计的缩影:搜索时刻由 verify_papers.py 做确定性的三层机械验证(arXiv → CrossRef → Semantic Scholar 模糊匹配),提交时刻由 citation-audit 做跨模型的三轴审计(存在性、元数据正确性、上下文适配性),数值论断由 paper-claim-audit 对照原始结果文件核对,最终由 verify_paper_audits.sh 以退出码把关。从检索到参考文献表的每一环,伪造引用都无处藏身——而这一切的起点,正是写作中那句朴素的要求:不确定,就留缺口,别编造。

登录后查看全文
Auto-claude-code-research-in-sleep