RAG 没死,但默认配方该换了:为什么我劝你先别急着买向量库

原创2026-10-11 16:45:351,899 阅读
文章标签:人工智能RAG

RAG 没死,但默认配方该换了:为什么我劝你先别急着买向量库

过去两年,凡是做企业知识库、长文档问答的团队,几乎都默认接受同一套"标准配方":PDF 切 chunk → embedding 入库 → 向量相似度召回 → 拼接上下文给 LLM。这套配方在短文档、闲聊式问答上足够好用,但当你把一份 800 页的财报、500 页的监管文件或整本教材丢进去时,问题就暴露了:答案引用错页码、跨章节的信息永远答不全、明明在文档里却召不回。社区里关于 PageIndex(无向量、基于推理的 RAG 框架)的讨论正在变多,从 CSDN 到掘金,不少文章在追问同一个问题:传统 RAG 的"默认配方"是不是该换了?

本文不做站队,只做三件事:先拆解传统 RAG 的三个老毛病到底出在哪;再用开源仓库 PageIndex 的真实源码与基准数据,看结构优先的设计是怎么绕过这些毛病的;最后给出务实的迁移判断——哪些场景真值得换,哪些场景继续用向量库才是对的。

传统 RAG 的三个老毛病:切碎、丢结构、上下文不完整

先看传统 RAG 的完整链路:文档被切割成固定大小的 chunk,每个 chunk 用 embedding 模型转成向量,查询时把用户问题也转成向量,靠余弦相似度取 Top-K,再把命中的 chunk 拼给 LLM。这套链路的三个痛点,本质上是一环扣一环的。

第一个毛病是"切碎"。 切 chunk 是一个纯几何操作——按 500 或 1000 token 硬切,跟文档本身的语义边界毫无关系。一个表格、一个条款、一段完整的论证过程,往往被拦腰切成两半,分别落入两个 chunk。后续无论召回多准,模型拿到的都是"半截证据"。

第二个毛病是"丢结构"。 文档的章节层级——第 2 章的 2.3 小节属于哪个主题、财报里"经营业绩"和"风险因素"是什么关系——在向量库中被彻底抹平了。所有 chunk 变成一堆扁平的点,只有距离远近,没有上下位关系。而恰恰是这种结构信息,决定了"这个问题应该去哪一章找答案"。

第三个毛病是"上下文不完整",而且是最隐蔽的。 向量检索的粒度是 chunk,但答案的证据往往是跨 chunk、甚至跨章节的:一个数字的定义在第 3 页,它的计算口径在附录,两个 chunk 在向量空间里距离很远,Top-K 各自命中却互不关联。更麻烦的是,检索时只拿"查询本身"做相似度匹配,对话历史、用户身份、领域知识统统不在匹配信号里。

这三个毛病叠加,就是 PageIndex 官方文档里那句直白的话:"similarity ≠ relevance"——向量检索按语义相似度打分,但检索真正需要的是相关性,而相关性需要推理。相似但无关的内容会被召回来,相关但不相似的内容会被漏掉(见 README.md)。这也是社区文章里反复出现"幻觉""上下文割裂"抱怨的根本来源:幻觉往往不是模型笨,而是检索给它喂了错误的、不完整的上下文。

PageIndex 式结构优先设计:先建树,再让模型"读"

PageIndex 的解法在理念上非常简单:不把文档切碎,而是把文档建造成一棵树;检索时不让模型猜相似度,而是让模型像人一样翻目录、定位章节、再读页面。 整个框架只做两步(见 README.md):

  1. Index:为每篇文档生成一棵层级树索引(tree index);
  2. Retrieve:用 LLM 在树上做基于推理的导航式检索。

索引阶段:树从哪来

树索引的构建分为两层。第一层是从 PDF 布局中提取结构,这一层甚至不需要 LLM。以默认的 Flash 模式为例,pageindex/flash 目录下的管线用 pypdfium2 做字符级解析,然后依次完成行聚类、分栏检测、页眉页脚与目录页识别、标题检测、目录树组装——注意 pageindex/flash/main.py 的文档字符串明确写了一句"tree structure itself is extracted from the document layout without an LLM"。输出的每个节点都带着精确的页码区间,以 examples/results/2023-annual-report-truncated_structure.json 为例,一棵真实的树长这样:

{
  "title": "Monetary Policy and Economic Developments",
  "start_index": 9,
  "end_index": 9,
  "node_id": "0003",
  "nodes": [
    { "title": "March 2024 Summary", "start_index": 9, "end_index": 14, "node_id": "0004" },
    { "title": "June 2023 Summary", "start_index": 15, "end_index": 20, "node_id": "0005" }
  ]
}

每个节点自带 node_id(四位数编号)和 start_index/end_index(起始、结束页码),层级嵌套就是章节的从属关系。Flash 的 toc_source 字段会标注结构来源是 detected(布局检测)、bookmarks(PDF 内嵌书签)还是 hybrid(两者混合),这说明结构提取是有策略、有回退的,而不是瞎猜。

第二层才是 LLM 出场:为节点生成摘要。pageindex/utils.py 里的 summarize_tree 采用自底向上的方式——叶子节点用自己的原文生成摘要,父节点由"子节点摘要 + 未被子节点覆盖的页面"拼出整棵子树的摘要,每段摘要默认上限 150 词(SUMMARY_MAX_WORDS = 150)。这就保证了树上的每个节点都是"可读的",检索模型不需要读全文就能知道每个节点讲什么。

这两层分离是 PageIndex 成本模型的关键:结构是免费的(纯布局统计),LLM 只负责"总结和精修"。README 明确建议 index= 用基础模型即可,因为树结构本身不是 LLM 生成的。

检索阶段:从"匹配"变成"导航"

检索阶段不再是一次性的相似度打分,而是一个 agent 化的多步过程。核心是两个工具(定义在 pageindex/agent_tools.py 的 TOOL_CONTRACT 中):

  • get_document_structure(doc_name):把整棵树的标题、页码、摘要返回给模型;
  • get_page_content(doc_name, pages="15-20"):按页码区间精确拉取原文。

模型拿到问题后,先看树的结构,推理"答案可能在哪个章节",再调用 get_page_content 只读那几页。系统提示词里写得非常明确(pageindex/agent_tools.py 的 _READING_WORKFLOW):

For documents over 20 pages: call get_document_structure() first to locate relevant sections, then get_page_content() with targeted page ranges.

这就是"像人一样读书":先翻目录,再翻到那一页,而不是靠词向量把全世界都搜一遍。由于检索过程完全由工具调用构成,每一步读了哪几页都有迹可循,答案自带页码引用(客户端里专门解析 <doc=...;page=...;block=...> 格式的引用标签,见 pageindex/client.py),可追溯性天然成立。

树还要"优化":检索成本的显式建模

页树不是建完就完事。仓库里专门有一个模块 pageindex/tree_optimize.py,把"检索一棵树要花多少钱"建模成了成本函数。它的模型很优雅:搜索成本用"页数"度量,路由成本 R(v) = 1 页——即模型访问一个节点、看它的标题和摘要算 1 页开销;而 S(v) 是如果该节点被折叠、需要线性扫描整个子树的页数。在此基础上定义两条规则:

  • expand(展开):当 S(v) > 5 页时做一步前瞻,如果 R(v) + max(S_residual, max S(child)) < S(v),就把这个过大的节点展开成子节点,否则保持折叠;
  • merge(合并):自底向上,如果某个已有子树的节点"整块扫描"比"逐层路由"更便宜,就把子树合并掉,合并掉的子标题保留在父节点的 key_items 里作为路由信息。

换句话说,这棵树是被显式地"剪枝"成搜索最便宜的形态的——章节太大的就展开、章节太碎的就合并。merge 是确定性的、不需要 LLM;expand 才调用模型。这一层优化直接回应了社区里最常见的质疑:"每个文档过一遍 LLM 不会很慢吗?"

证据说话:精度、成本和"慢不慢"

社区讨论中,关于 PageIndex 的争议集中在三点:精度是不是营销、成本是不是虚高、索引是不是慢。仓库里恰好都有可对质的数字。

精度:在 FinanceBench(金融文档问答基准)上,PageIndex 达到 98.7% 的准确率,而向量式 RAG 约为 50%——准确率对比见下图。

FinanceBench 基准上 PageIndex 98.7% 与向量 RAG 约 50% 的准确率对比

这不是自说自话的 benchmark:PageIndex-OSS-Benchmark 用 34 份 PDF、1,945 页、62 道查找类问题复测了 quickstart 的默认配置(本地模式 + flash 索引 + 无 OCR),且每道题的答案都是正文中明确陈述的事实,答错即检索失败,排除了"模型推理能力"的干扰。

索引成本:本地建树约 每页 $0.001(以 gpt-5.6-luna 为索引模型),一本 1,000 页的教材约一美元出头、几分钟完成,且是一次性投入——之后所有问题都复用这棵树。9 到 1,098 页的九份基准文档,索引耗时从约 13 秒到 4.5 分钟,随文档长度线性可预测(见下图)。

九份 9 到 1098 页文档的索引耗时,约 13 秒到 4.5 分钟,随页数线性增长

查询成本:检索时模型只读它推理到达的节点,所以单次查询的成本不随文档长度增长。把整份 PDF 直接塞给模型的对照组则随页数线性膨胀:52 页时贵 2.1 倍,420 页时贵 16.6 倍,805 页时文档直接超出上下文窗口、根本读不进去(见下图,gpt-5.6-sol,不含 prompt 缓存)。

不同页数下原生 PDF 输入相对 PageIndex 检索的查询成本倍数:52 页 2.1 倍,420 页 16.6 倍,805 页超出上下文窗口

"慢不慢"的完整回答藏在架构里,可以拆成三点:一次性索引(树是异步批量生成的,不是每次提问都过一遍全文);检索时只做轻量推理(模型看的是节点摘要,150 词一段,不是全文);按需加载(get_page_content 只拉命中页码的原文,绝不把整份文档塞进上下文)。"每个文档过一遍 LLM"这个担心的前提——每次提问都要重新处理全文——在 PageIndex 里并不成立。

边界:结构优先设计差在哪

结构优先不是银弹,它的适用边界很清晰,甚至写进了代码里。

对无结构的文档,它直接拒绝工作。 Flash 模式的 toc_source 取值里有一种叫 "pages":布局分析没能提取出任何层级,于是每一页变成 Page N 节点。一旦这种"平铺树"超过 10 个节点(FLAT_TREE_MAX_NODES = 10,定义在 pageindex/flash/api.py),本地客户端和 CLI 会直接拒绝这个索引——宁可不用,也不假装自己有结构。扫描件、无章节的零散语料,天然不适合这种设计。

对扫描件和图片型文档,本地模式无能为力。 README 的 Local/Cloud 对比表写得很直白:本地模式只处理文本型 PDF,OCR 和图像理解是 Cloud 的能力。如果你的语料全是扫描版合同,本地跑 PageIndex 连树都建不出来。

结构和摘要的质量,决定了检索质量的天花板。 树的层级、摘要的准确性、章节合并的粒度,全部发生在索引阶段——索引错了,检索阶段的推理再强也救不回来。经典模式(pageindex/page_index_classic.py)里专门有 check_title_appearance 这种函数,用 LLM 回查"这个标题是否真的出现在那一页",就是因为在结构提取环节,页码错位是最典型的故障模式。换句话说,PageIndex 把传统 RAG 的"检索难题"转移成了"结构提取难题",对文档的规范程度要求更高。

最后是生态成本:向量库能上百万文档的规模,PageIndex 的单文档树索引目前更适合"少而精"的语料。仓库里的 File System 层(文件级树索引)是为大规模语料设计的,但那是 Cloud 专属能力,本地开源版还没有。

给团队的决策建议:哪些场景真值得迁移

综合上面的事实,迁移判断其实可以收敛成一条很简单的分界线:你的文档有没有"结构",以及你的问题是不是"结构相关"的。

值得迁移的场景,有三个共同特征:

  1. 文档是规范的长文:财报、年报、监管文件、招股书、技术手册、教材、多节论文。这类文档天然有章节层级,Flash 的布局检测几乎是为它们设计的——仓库 examples/ 里躺着 2023 年报、PRML、美联储报告这些真实测试样本,而 pageindex/flash/README.md 的基准表里,从 9 页的白皮书到 1,098 页的教科书全都能建树。
  2. 问题需要"定位式"回答:用户的问题是"2023 年经营利润率是多少""第 2.4 节讲了什么",答案在文档的某个确定位置。此时页码级引用就是刚需,向量召回给不了"可追溯的页码"。
  3. 你受够了 chunk 割裂带来的幻觉:如果你们的产品经常被客户质疑"答案跟原文对不上",问题大概率不在模型,而在检索粒度。换成整章节召回后,"上下文不完整"这个病根直接消失。

暂不迁移的场景也很清楚:语料是零散 IM 记录、无标题网页正文这类无结构文本的;语料是扫描件且没有 Cloud 预算的;以及检索规模在十万文档以上、需要靠倒排或向量做全局排序的。

想低成本验证的话,路径是现成的:pip install -U pageindex 后,先用 CLI 跑一遍(run_pageindex.py,python3 run_pageindex.py --mode flash --pdf_path document.pdf),生成的 JSON 树在 results/ 目录里可以人工检查结构质量;模型配置在 pageindex/config.yaml(index_model 用基础模型、chat_model 用你能承受的最好的模型);确认树的层级、页码、摘要都符合预期,再接入 SDK 客户端做正式问答。结构不对就换,对了再上,几分钟就能做出判断。

RAG 没有死,被淘汰的只是"无脑切块 + 向量召回"这一种默认配方。当检索目标从"搜相似"变成"找答案",结构优先、推理导航这条路,至少对长文档场景,给出了一个数据更硬、可解释性更强的答案。要不要换配方,取决于你的文档有没有结构——而这个问题,用仓库里那棵树跑一次就知道了。

登录后查看全文
PageIndex