ARIS 引用纪律与幻觉预防实战指南:从五步验证协议到 BibTeX 管理
ARIS 引用纪律与幻觉预防实战指南:从五步验证协议到 BibTeX 管理
本文以 ARIS 项目中的 引用纪律与幻觉预防规范 为主体,结合 verify_papers.py 源码与 research-lit、citation-audit 等 Skill 的实际调用链,系统讲解如何让 LLM 驱动的科研流水线杜绝"看起来合理"的伪造引用——从搜索时刻的 Pre-Search Verification Protocol,到提交时刻的 BibTeX 审计,再到最终输出的验证痕迹纪律。读完你将掌握一套可落地的五步验证工作流、三层 API 回退机制与完整的 BibTeX 管理规范。
为什么要做引用验证:危险的不是"假得离谱",而是"假得可信"
典型的引用幻觉模式
在 LLM 辅助科研的场景下,最危险的引用错误通常不是一眼可识别的完全伪造引用,而是看起来足够合理、足以蒙混过关的引用。ARIS 的引用纪律规范明确列出了五类高频幻觉模式:
- 真实作者 + 伪造标题:作者存在,但标题是模型臆造的;
- 真实标题 + 错误年份:论文真实存在,但年份被张冠李戴;
- 真实 arXiv ID + 错误 venue:预印本 ID 正确,但发表的会议/期刊信息错误;
- 真实主题 + 不存在的 DOI:主题相关,DOI 却无法解析;
- 预印本与正式版被静默合并:一个条目里混入了 arXiv 版本和正式发表版本。
这些错误肉眼难以察觉,却会在投稿、评审和 rebuttal 阶段造成不成比例的伤害。因此规范提出核心原则:绝不从记忆生成引用(Never generate citations from memory)。如果一条引用无法通过程序化验证或来自可信项目材料,就必须显式标记为 unresolved、告知用户,且绝不编造一个看起来合理的 BibTeX 条目。
引用质量差的双层后果
- 轻度后果:审稿人判定 related-work 部分不可靠;参考文献列表凌乱,暴露出低信任度的工作流;因为被引文献实际上并不支持论文所归因的论断,claims 显得缺乏支撑。
- 严重后果:被点名批评为幻觉引用(hallucinated references);在 desk check 或后续评审中暴露合规问题;围绕论文产生本可避免的信任危机。
数据源选择:谁适合查什么
ARIS 引用纪律文档提供了一张数据源能力对照表,这是选择验证通道的第一决策依据:
| 数据源 | 最佳用途 | 优势 | 注意点 |
|---|---|---|---|
| DBLP | CS/ML 会议论文、BibTeX 检索 | 结构性强、venue 元数据强 | 部分预印本在 arXiv 覆盖更好 |
| CrossRef | DOI 查询、BibTeX 内容协商 | DOI 存在时的官方元数据来源 | 质量取决于 DOI 注册情况 |
| Semantic Scholar | 论文搜索、引用图、摘要查询 | ML 文献发现体验好 | 免费访问可能限流 |
| arXiv | 预印本查询 | ML 预印本覆盖强 | 不能替代正式出版物元数据 |
| OpenAlex | 开放元数据图、交叉验证 | 覆盖面广、可作为第二数据源 | 结构与 DBLP 惯例可能有差异 |
文档给出的通用决策逻辑如下:
Need to search ML papers -> Semantic Scholar / DBLP
Already have a DOI -> CrossRef content negotiation
Only have an arXiv clue -> arXiv + CrossRef / Semantic Scholar for cross-checking
Need a second verification source -> OpenAlex / Semantic Scholar / arXiv
值得注意的是,Google Scholar 不是默认的验证支柱——"我在 Scholar 里手工找到了"不能被当作干净、可信、结构化的元数据同等对待。这恰好对应了 research-lit 中"只运行在显式请求时"的 S2/OpenAlex 等来源设计:默认的 — sources: all 只覆盖 zotero/obsidian/local/web 四层,semantic-scholar、openalex 等必须显式列出,以确保检索通道可审计、可预期。
标准验证工作流:五步流程
引用纪律文档定义了从检索到入库的完整五步流程:
1. SEARCH -> find candidate papers
2. VERIFY -> confirm the paper exists in at least two trustworthy sources
3. RETRIEVE -> get BibTeX programmatically
4. VALIDATE -> confirm the claim you cite is really supported by the paper
5. ADD -> add the entry to the bibliography with clean keys and formatting
Step 1:Search——具体化检索而非宽泛主题词
优先使用具体查询,而非宽泛的主题词。文档推荐的高质量查询模式:
论文标题 + 第一作者方法名 + 数据集 + 第一作者论断关键词 + 作者- 标题中的精确短语
搜索过程中必须记录:标题、作者、年份、DOI、arXiv ID、venue/期刊。如果出现多篇相似论文,不要立即写入 .bib,先比较标题细节、年份和作者顺序。
Step 2:Verify——至少在两个可信来源确认存在
理想情况下,同一篇论文需在两个来源确认,例如:Semantic Scholar + CrossRef、DBLP + DOI、arXiv + Semantic Scholar、DBLP + OpenAlex。判定"这是同一篇论文"的最低标准是:
- 标题高度匹配;
- 第一作者匹配;
- 年份匹配或可解释;
- DOI 和/或 arXiv ID 匹配。
如果只在单一来源找到论文,这条引用仍不够稳定。
Step 3:Retrieve——程序化获取 BibTeX
获取顺序(优先到后备):
- 直接从 DBLP 获取
.bib; - DOI 内容协商(content negotiation);
- 仅在元数据基础已可信时才手工补全。
DBLP 的两种 API 模式:
curl -s "https://dblp.org/search/publ/api?q=TITLE+AUTHOR&format=json&h=3"
curl -s "https://dblp.org/rec/{key}.bib"
CrossRef / DOI 内容协商模式:
curl -sLH "Accept: application/x-bibtex" "https://doi.org/{doi}"
如果 DBLP 与 DOI 都失败,转入显式占位符处理,而不是猜测。
Step 4:Validate——验证论断(最常被跳过、也最重要的一步)
在写下"X first proved…""Y showed that…""Prior work found…""Z outperformed B on benchmark A…"这类论断之前,必须确认被引论文确实支持该陈述。最低标准是:
- 论断直接由标题、摘要或引言支持;
- 或已亲自阅读论文中的相关章节、表格、定理或图表。
规范明确禁止三种行为:因为标题看起来相关就假定论文支持你的论断;不做核实就继承他人 related-work 中的论断;把"这篇论文主题相同"等同于"这篇论文建立了这个精确陈述"。
Step 5:Add——只有前四步完成才入库
入库前检查:条目类型是否正确?作者是否完整?年份与 venue 是否准确?引用键是否符合项目风格?是否与已有条目重复?
Pre-Search Verification Protocol:把幻觉拦截在搜索时刻
这是整个引用纪律体系中最具工程价值的部分。它作为 Step 1(SEARCH)与 Step 2(完整 VERIFY)之间的快速过滤器,在搜索时刻就拦截 LLM 幻觉——避免伪造的 arXiv ID / DOI / 标题传播进入 idea-creator、novelty-check、landscape 综述及下游写作环节。
该协议由 verify_papers.py 实现(canonical name;helper 路径按 integration-contract.md §2 Policy D1 解析)。脚本被 research-lit(Step 1.5,强制)调用,并被 idea-creator 与 novelty-check 作为被引论文的必需过滤器引用。
三层回退机制
- arXiv API 批量验证 —
arxiv.org/api/query?id_list=...每次请求最多确认 40 个 arXiv ID。最廉价、最具权威性,只要存在 arXiv ID 就总是最先运行。在源码中对应verify_arxiv_batch()(tools/verify_papers.py):对每个批次做 3 次指数退避重试,持久失败时把批次对半拆分再试,直到单条仍失败才标记verify_pending。 - CrossRef DOI 查询 —
api.crossref.org/works/{doi}确认 DOI 可解析。当 arXiv ID 缺失或 arXiv 检查返回unverified时运行。源码中verify_doi()(tools/verify_papers.py)在 200 时判定 verified、404 时判定 unverified、瞬时错误重试 2 次后返回verify_pending。 - Semantic Scholar 模糊标题搜索 —
api.semanticscholar.org/graph/v1/paper/search,使用归一化模糊匹配(默认词重叠阈值 0.6,max(words1, words2)为分母)。仅当既无 arXiv ID、且(无 DOI 或 DOI 验证失败)时运行。源码中verify_title_s2()(tools/verify_papers.py)先对标题做 Unicode NFKD + 小写 + 去标点 + 折叠空白归一化,再计算查询词与候选标题词集合的重叠率,达到阈值即返回 verified 并带回 S2 的 arXiv ID / DOI 交叉标识。
每篇论文的四态状态机
verified— 至少一层确认存在;unverified— 所有适用层均正常运行且未找到匹配;verify_pending— 任一层遇到瞬时失败(超时、5xx、限流)且更早的层未验证;不计入幻觉率;error— 输入条目本身格式错误(无 arXiv、无 DOI、无标题)。
顶层判定(verdict)
与 assurance-contract.md 松散对齐:
PASS— 幻觉率 ≤ 阈值(默认 0.20)且无 pending;WARN— 幻觉率 > 阈值或存在 pending;BLOCKED— 输入/输出/缓存前置条件缺失;ERROR— 工具本身崩溃。
源码中 compute_verdict()(tools/verify_papers.py)实现此逻辑:hallucination_rate = unverified / (verified + unverified),pending_rate = pending / total;存在 error 输入、瞬时失败或高幻觉率时分别追加对应 warnings。
保留规则(胜过静默删除)
未验证的论文必须保留在下游输出中,并打上 [UNVERIFIED] 标签,让用户能审计被过滤的内容——静默删除会掩盖搜索质量问题。已验证论文打 ✅ 并标注验证方法(arxiv / crossref / s2 / s2_fallback_from_doi)。
高幻觉率告警
当终态结果(verified + unverified,排除 pending)中超过 20% 返回 unverified 时,向用户暴露 high_hallucination_rate。这是搜索查询或上游来源正在产出伪造条目的信号——应使用更窄的检索词重跑,再继续后续工作。
缓存机制
默认缓存范围为项目级,位于 <project>/.aris/cache/verify_papers.json,TTL 30 天。缓存键按规范标识符优先级取值:arxiv:{id_without_version} → doi:{lowercase} → title:{sha1_of_normalized_title}<a href="https://link.gitcode.com/i/7aee12068010c2de8667165d828e5a93" target="_blank">:16]。缓存值保留所有已知标识符,使同一篇论文经由不同搜索路径找到时能正确归并。对应源码中的 cache_key_for()([tools/verify_papers.py)与 load_cache() / save_cache()(tools/verify_papers.py)。
CrossRef User-Agent 与礼貌池
设置 ARIS_VERIFY_EMAIL 为机构邮箱可降低 CrossRef 限流风险。默认是占位符 aris-research@anonymous.local——低流量使用没问题,但 CrossRef 更喜欢真实联系方式以获得更高礼貌池(polite pool)吞吐。源码在 main() 中读取该环境变量(tools/verify_papers.py),并在 _arxiv_user_agent() 中将其拼入 arXiv 请求的 User-Agent。
什么场景不使用本协议
这是搜索时刻过滤,不是提交时刻审计。它不替代 citation-audit(检查已写好的 .bib 条目与 DBLP/CrossRef 元数据 + 引用上下文的一致性),也不替代 paper-claim-audit(针对原始结果文件验证数值论断)。对候选列表运行 pre-search 验证;在提交前运行审计类 Skill。
调用合约:Policy D1 与完整 shell 片段
按 integration-contract.md §2,调用方(research-lit Step 1.5 强制、idea-creator、novelty-check)必须先通过 canonical 链解析 $VERIFY_PAPERS,再按 Policy D1(primary helper + first-success cascade + degraded-output fallback)调用。完整可复制的安全片段如下:
# 1. Resolve $VERIFY_PAPERS via the canonical strict-safe chain (§2).
cd "$(git rev-parse --show-toplevel 2>/dev/null || pwd)" || exit 1
if [ -z "${ARIS_REPO:-}" ] && [ -f .aris/installed-skills.txt ]; then
ARIS_REPO=$(awk -F'\t' '$1=="repo_root"{print $2; exit}' .aris/installed-skills.txt 2>/dev/null) || true
fi
if [ -z "${ARIS_REPO:-}" ] && [ -f "$HOME/.aris/repo" ]; then
ARIS_REPO=$(cat "$HOME/.aris/repo" 2>/dev/null) || true
fi
VERIFY_PAPERS=".aris/tools/verify_papers.py"
[ -f "$VERIFY_PAPERS" ] || VERIFY_PAPERS="tools/verify_papers.py"
[ -f "$VERIFY_PAPERS" ] || { [ -n "${ARIS_REPO:-}" ] && VERIFY_PAPERS="$ARIS_REPO/tools/verify_papers.py"; }
[ -f "$VERIFY_PAPERS" ] || VERIFY_PAPERS=""
# 2. Invoke (Policy D1 fallback wraps invocation failure too).
verify_ok=false
if [ -n "$VERIFY_PAPERS" ]; then
if python3 "$VERIFY_PAPERS" --input candidate_papers.json --output verified_papers.json; then
verify_ok=true
fi
fi
if [ "$verify_ok" = "false" ]; then
command -v python3 >/dev/null 2>&1 || { echo "ERROR: python3 unavailable; BLOCKED." >&2; exit 1; }
echo "WARN: verify_papers.py unresolved or invocation failed; emitting [UNVERIFIED] fallback." >&2
python3 - <<'PY'
import json
cands = json.load(open('candidate_papers.json'))
out = {
'verdict': 'WARN',
'reason_code': 'verify_papers_unavailable',
'summary': 'verify_papers.py helper unresolved or invocation failed; all candidates tagged [UNVERIFIED] for audit visibility.',
'papers': [dict(p, status='unverified', method='none') for p in cands],
}
with open('verified_papers.json', 'w') as f:
json.dump(out, f, indent=2)
PY
fi
candidate_papers.json 输入 schema:
[
{"id": "p1", "arxiv_id": "2307.03172", "doi": null, "title": "Lost in the Middle"},
{"id": "p2", "arxiv_id": null, "doi": "10.1145/...", "title": null},
{"id": "p3", "arxiv_id": null, "doi": null, "title": "Some Paper Title"}
]
verified_papers.json 输出 schema 顶层含 verdict,逐条含 status;完整 envelope 见 verify_papers.py 的 docstring。该工具还提供两种便捷入口:--arxiv-ids 2307.03172,2401.12345 和 --titles-file titles.txt,并支持通过 - 走 stdin/stdout(cat papers.json | python3 verify_papers.py --input - --output -)。全部 CLI 参数:--arxiv-batch-size(默认 40)、--s2-fuzzy-threshold(默认 0.6)、--cache-scope project|user|none、--cache-dir、--cache-ttl-days(默认 30)、--no-cache、--hallucination-warn-threshold(默认 0.2)。
在 research-lit 中的实际落地
research-lit 的 Step 1.5(强制)把该协议编入文献综述流程:从 Steps 0a-1 收集的所有候选论文必须先跑 verify_papers.py 过滤 LLM 伪造的 arXiv ID / DOI / 标题;scratch 文件放在 .aris/verify-papers/ 下(不能放 research-wiki/,以免误触 Step 6 的 wiki ingest 谓词)。其强制输出规则包括:每条论文打上状态标签(✅ verified (via arxiv|crossref|s2) / ⚠️ UNVERIFIED (reason) / … verify_pending);绝不静默丢弃未验证论文;绝不从记忆编造 DOI 或 arXiv ID(未知字段保持 null,helper 会落到标题搜索);helper 返回 WARN 带 high_hallucination_rate 时逐字暴露并建议更窄查询重跑;verify_pending 不得提升为 verified,需向用户展示并在下个会话重试。
如何把条目加入参考文献库:决策树与占位符策略
推荐决策树
Is there already a project-local .bib entry?
Yes -> reuse it, then verify it
No -> continue
Can DBLP provide a direct .bib entry?
Yes -> use DBLP
No -> continue
Do you have a DOI?
Yes -> use DOI content negotiation
No -> continue
Can you confirm the paper in two trustworthy sources with enough metadata?
Yes -> manually complete an entry from trusted metadata
No -> use an explicit placeholder and report it to the user
占位符策略
验证失败时,留下显式占位符而不是沉默造假:
% TODO: verify before submission
\cite{PLACEHOLDER_author2024_verify}
或在 .bib 文件内标记不确定性:
% [VERIFY] could not confirm DOI / venue / exact title
其原则是:让不确定性可见;把坏元数据挡在最终草稿之外;在定稿前上报未解决的引用。
BibTeX 管理规则
BibTeX vs BibLaTeX
该工作流仍优先兼容现有会议模板,不强制迁移到 BibLaTeX。两者的权衡如下:
| 方面 | BibTeX | BibLaTeX |
|---|---|---|
| Unicode 支持 | 较弱 | 更好 |
| 条目类型 | 标准 | 更丰富 |
| 后端 | bibtex |
biber |
| 与旧 venue 模板兼容性 | 通常更强 | 不总是安全 |
在本 Skill 包中,若模板已固定,优先兼容而非现代化。
引用键格式
优先使用稳定键格式:firstauthor_year_keyword。例如:
vaswani_2017_attention
devlin_2019_bert
brown_2020_language
如果项目已使用不同的键风格,保持一致性而非混搭。
只保留被引用的条目
不要把 references.bib 变成垃圾场:只保留实际被引用的条目;删除重复项;删除废弃键;当预印本与正式版同时存在时明确二选一。
何时优先正式版
当会议/期刊正式版明确存在时优先正式版:需要稳定的 venue 信息写 related work;页码/卷号/出版社元数据影响投稿质量。以下情况保留 arXiv 版本仍然合适:作品尚未正式发表;社区主要引用预印本;或特定版本对你所引用的内容至关重要。
常见条目模板
会议论文
@inproceedings{vaswani_2017_attention,
title = {Attention Is All You Need},
author = {Vaswani, Ashish and Shazeer, Noam and Parmar, Niki and
Uszkoreit, Jakob and Jones, Llion and Gomez, Aidan N. and
Kaiser, Lukasz and Polosukhin, Illia},
booktitle = {Advances in Neural Information Processing Systems},
year = {2017}
}
期刊论文
@article{hochreiter_1997_long,
title = {Long Short-Term Memory},
author = {Hochreiter, Sepp and Schmidhuber, J{\"u}rgen},
journal = {Neural Computation},
volume = {9},
number = {8},
pages = {1735--1780},
year = {1997}
}
arXiv 预印本
@misc{brown_2020_language,
title = {Language Models are Few-Shot Learners},
author = {Brown, Tom and Mann, Benjamin and Ryder, Nick and others},
year = {2020},
eprint = {2005.14165},
archiveprefix = {arXiv},
primaryclass = {cs.CL}
}
常见失败与排查
案例 1:无结果
检查:标题是否拼错?作者是否拼错?查询是否过宽?是否应改用精确短语?修复手段:加上第一作者;加上年份;用标题中的特色短语而非宽泛主题词搜索。
案例 2:DOI 无法干净解析
可能原因:DOI 存在但未与 CrossRef 良好关联;DOI 不是该论文的最佳查询路径;作品主要是 arXiv 预印本。修复手段:回到 DBLP;在 Semantic Scholar / OpenAlex 交叉核对 DOI;仅当元数据已可靠时手工补全条目。
案例 3:多篇论文看起来相似
这是最危险的情形之一。检查:作者顺序、年份、标题措辞、摘要级论断,必要时查看 PDF 首页或相关章节。在这些匹配之前,不要假定任何一篇是正确的论文。
案例 4:BibTeX 编译错误
常见原因:缺失逗号、大括号不配对、特殊字符未转义、与模板不兼容的 Unicode。检查:每个字段是否正确收尾;标题文本是否需要 LaTeX 转义;带重音的作者名是否安全编码。
案例 5:同一篇论文存在两个键
修复:选择一个规范键;更新所有正文引用;删除重复条目。不要在最终参考文献表中留下两个几乎相同的条目。
最终验证检查清单
在把一条引用视为完成之前,逐项核对:
- [ ] 论文至少在两个可信来源确认过
- [ ] DOI 或 arXiv ID 已检查
- [ ] BibTeX 已程序化获取或由可信元数据补全
- [ ] 条目类型正确(
@inproceedings、@article、@misc等) - [ ] 作者列表完整且格式良好
- [ ] 年份与 venue 已检查
- [ ] 引用键符合项目风格
- [ ] 所引用的具体论断确实由论文支持
- [ ] 任何未解决的不确定性已用
[VERIFY]或显式占位符标记
输出纪律:验证存在于 Trace,而非行文之中
引用纪律文档最后给出两条输出纪律(改编自 Anthropic Claude Science 的 literature-review skill,Apache-2.0):
第一条:绝不在输出中写"citations verified"这样的行。 无论是开头、页脚还是副标题——"All DOIs verified""no retraction flags""bibliography checked"都是流程叙述(process narration)。验证发生在工具 trace 中(verify_papers 运行、DBLP 查询、审计 JSON);读者从"引用的条目都能解析、论断都站得住"这件事本身去推断验证发生过。内容为"我验证了东西"的回复或章节不是内容。ARIS 特化规则:机器可读的验证记录属于审计工件(CITATION_AUDIT.json、traces),绝不以安慰性散文形式出现在论文或报告正文中。这一点与 citation-audit 的"始终产出 artifact、绝不自证"设计一致——paper/CITATION_AUDIT.json 是提交门(verify_paper_audits.sh)读取的真相来源。
第二条:风格/一致性 lint 只跑一次,作为 lint 而非"循环至干净"的门。 在完整草稿上运行一次,单次编辑过修复它列出的问题,然后继续;不要反复重跑直到返回干净。一个变成收敛循环的 lint 会烧掉轮次去打磨外观,而真正的质量/正确性收敛属于跨模型评审循环(reviewer loops),不属于 lint。
底线
当一条引用不确定时,留下显式的缺口,而不是默默发明元数据。
这既是 citation-discipline 的总结,也是 ARIS 证据链设计的缩影:搜索时刻由 verify_papers.py 做确定性的三层机械验证(arXiv → CrossRef → Semantic Scholar 模糊匹配),提交时刻由 citation-audit 做跨模型的三轴审计(存在性、元数据正确性、上下文适配性),数值论断由 paper-claim-audit 对照原始结果文件核对,最终由 verify_paper_audits.sh 以退出码把关。从检索到参考文献表的每一环,伪造引用都无处藏身——而这一切的起点,正是写作中那句朴素的要求:不确定,就留缺口,别编造。