为什么XL-DocBench采用保守严格发布:RAG Not Approved过滤与发布验证机制深度解析
为什么XL-DocBench采用保守严格发布:RAG Not Approved过滤与发布验证机制深度解析
XL-DocBench 是由 Microsoft 与武汉大学联合推出的超长大文档理解基准(benchmark),要求系统在数百乃至数千页的文档中定位证据、整合多处支持、应用正确规则,并知道何时弃答。它当前的发布版本 xldocbench_strict_1345_v1 采用了一套保守而严格的发布策略:凡是触及被标记为 RAG: Not Approved 来源 URL 的题目全部剔除,最终保留 292 份文档、1,345 道经 194 位人工专家验证的 QA。本文将深入解析这一 RAG Not Approved 过滤机制与配套的发布验证机制,看看一个严肃的开源基准如何做到"可复现、可审计、可长期引用"。
一、什么是"保守严格发布"?🔍
在 README.md 中,发布方明确写道:
This is the conservative XL-DocBench release.
所谓"保守"(conservative),核心意思是:在无法 100% 确认某份文档的使用权限时,宁可删掉,也不放行。具体表现为一条写在 manifest.json variant_info 中的过滤规则:
Remove documents with RAG / Not Approved status and every QA row that references one of those documents, then prune documents left with no QA references.
即:先移除所有 RAG 状态为 Not Approved 的文档,再移除所有引用这些文档的题目,最后清理因此变成"孤儿"的文档。
为什么要先过滤 RAG 状态?
这里的 RAG 指 Retrieval-Augmented Generation(检索增强生成)。基准的源文档以公开 URL 引用而非直接再分发,且"源文档仍受其原始许可条款约束,本发布不授予第三方 PDF 的再分发权利"(见 README.md)。因此:
- 部分文档在来源方明确标注了"禁止用于 RAG",直接排除是合规的最优解;
- 过滤采用精确 URL 匹配(
match_method: exact_source_url),不做模糊匹配、不做语义猜测; - 对于
Portions Approved(部分批准)这类复杂状态,本次发布不做解释、一律不纳入,只处理精确的Not Approved行。
这种"宁缺毋滥"的策略,换来的是整个基准在法律与版权层面上的干净。
过滤前后数据对比 📊
| 项目 | 数量 |
|---|---|
RAG 受限文档(Not Approved) |
37 |
| 孤儿文档(过滤后无剩余 QA) | 2 |
| 移除文档合计 | 39 |
| 移除 QA | 174 |
| 发布文档数 | 292 |
| 发布 QA 总数(1,191 单文档 + 154 跨文档) | 1,345 |
也就是说,原始语料约 331 份文档、1,519 条 QA,经过保守过滤后收缩到 292 份文档、1,345 条 QA——每一行留存数据都经过了权限审查。
二、发布验证机制:一条命令验证整个基准 ✅
光"删得干净"还不够,发布方还内置了完整的发布验证机制(release validation),让任何使用者都能一键审计整套数据。
quickstart.py 的校验清单
在 code/quickstart.py 中,一个零依赖(仅用 Python 标准库)的冒烟测试会检查:
- 文件齐全:
manifest.json声明的三个数据文件与两份分数文件全部存在; - 数量一致:文档数、单文档 QA 数、跨文档 QA 数、QA 总数与 manifest 完全吻合;
- ID 完整:
document_id、question_id无空值、无重复; - 引用闭合:题目引用的每个文档都在文档表中,且不存在"无人引用的文档";
- 证据元数据:每个证据条目的
locator、pages非空,页码语义(pdf_index/annotator_supplied)与证据类型(supporting_excerpt/annotator_rationale)合法; - 分数覆盖:逐题分数行的 ID 集合与题目集合完全一致,13 个系统的分数齐全且落在 0~1 区间;
- 评测回归:跑通 5 题评测夹具,Accuracy / Token F1 / ANLS 必须全部为 1.0。
执行方式(在发布根目录):
uv run --no-project python code/quickstart.py
全部通过时会打印 XL-DocBench smoke test: PASS;任何一项不符都会以 FAIL — <原因> 退出,定位精确到具体行。
SHA-256 双哈希锁定 🔐
除了运行时校验,发布包还用哈希值把"评估器"和"分数"双双锁死:
| 哈希位置 | 锁定对象 | 意义 |
|---|---|---|
manifest.json score_evaluator_sha256 |
code/evaluate.py 评估器源码 | 任何人下载后都能验证评估器未被篡改 |
results/summary.json scores_sha256 |
results/scores.jsonl 逐题分数文件 | 分数结果永久可核对 |
这意味着哪怕几年后源文档 URL 失效,你依然能拿 results/scores.jsonl 里 1,345 道题、13 个系统的完整分数作为稳定对比基准——这正是发布方在 README 中解释"为何附带分数"的原因。
三、发布包结构速览 📦
| 文件 | 说明 |
|---|---|
| data/documents.jsonl | 292 份文档的元数据与源 URL |
| data/qa_single_doc.jsonl | 1,191 条单文档问题 |
| data/qa_cross_doc.jsonl | 154 条跨文档问题 |
| results/scores.jsonl | 13 个系统的逐题分数(0~1 标度) |
| results/summary.json | 各系统 Accuracy / Token F1 / ANLS 汇总 |
| manifest.json | 重新计算的发布统计与过滤规则 |
| code/quickstart.py | 一键发布验证脚本 |
| code/evaluate.py | 自包含确定性评估器 |
| code/examples/load_data.py | 标准库数据加载示例 |
| schema/release_format_sample.json | 记录格式样例(单文档 + 跨文档) |
想看一条完整题目长什么样,直接打开 schema 样例即可:每道题都包含 question、answer(值 + 格式 + 校验规则)、document(s)(文档 ID + URL + evidence_pages + evidence_items)与 metadata(领域、难度、推理类型、可答性)。
四、严格发布下的数据画像 📊
从 manifest.json 可以看到这道"硬骨头"的构成:
| 领域 | 题目数 |
|---|---|
| finance_business(金融商业) | 329 |
| legal_regulation(法律监管) | 275 |
| technical_engineering(技术工程) | 238 |
| medical_clinical(医学临床) | 233 |
| scientific_academic(科学学术) | 189 |
| narrative_literature(叙事文学) | 81 |
几个关键难度指标:
- 76.2%(975/1,280)的题目需要多页证据整合;
- 31.9% 的题目证据是多模态的(文本 + 图表);
- 11.4% 的 154 题是跨文档上下文,全系列上下文最长可达 2,935 页;
- 188 题要求弃答(答案格式为
None)——考的不是"会不会",而是"知不知道什么时候不会"。
而 13 个可复现系统的严格榜单(完整 1,345 题)显示,最强系统 GPT-5.4(OCR 输入)的 Accuracy 也仅为 38.36%——这正体现了基准的区分度:
| 排名 | 系统 | 输入 | Accuracy ↑ |
|---|---|---|---|
| 1 | GPT-5.4 | OCR | 38.36 |
| 2 | SimpleDoc + GPT-5.4 | Agent | 36.21 |
| 3 | Kimi-K2.5 | OCR | 36.06 |
| 4 | MDocAgent + GPT-5.4 | Agent | 31.82 |
| 5 | GPT-5.2 | OCR | 31.15 |
五、快速上手:3 条命令跑通验证与评测 🚀
# 1. 验证完整发布 + 跑 5 题评测夹具
uv run --no-project python code/quickstart.py
# 2. 加载三张 JSONL 数据表
uv run --no-project python code/examples/load_data.py
# 3. 用内置样例评测
uv run --no-project python code/evaluate.py \
--gold-files code/examples/gold_sample.jsonl \
--predictions code/examples/predictions_sample.jsonl
评估器 code/evaluate.py 完全自包含:不调用任何模型、不依赖私有文件,按规则计算 Accuracy、Token F1 与 ANLS;缺失、失败或不可解析的预测一律计错(除非显式加 --ignore-missing),保证结果确定性。更多说明见 code/README.md。
六、写在最后:保守发布的价值 💡
XL-DocBench 的选择看似"不近人情"——删掉 174 道题目、39 份文档,只为了权限上的确定性。但它换来了开源基准最稀缺的三样东西:
- 可审计:过滤规则白纸黑字写进 manifest,任何人都能核对;
- 可复现:哈希锁定的评估器 + 逐题分数文件,结果永不漂移;
- 可长期引用:即使源 URL 未来失效,1,345 道题的稳定对比点依然存在。
对于做超长大文档理解、跨文档 RAG 评测的研究者来说,这种"保守严格"恰恰是最值得借鉴的发布范式:基准的可信度,首先来自它对边界的克制。