别再把手写 PDF 解析当护城河了:LLM 时代,解析这件事正在被工具化
别再把手写 PDF 解析当护城河了:LLM 时代,解析这件事正在被工具化
过去两年,文档解析是 RAG 与知识库项目里最容易被"讲成故事"的环节:动辄宣称"自研版面分析 + 表格还原 + 公式识别,三套模型深度调优",把它包装成核心壁垒。但社区的数据与工程现实正在拆穿这个叙事——2024 年底 Docling 发布后一周内 Star 数飙升约 6000,如今相关文章在各大技术社区持续刷屏,从"4.5K+ Star"到"12.6K Star"再到 IBM 用 258M 参数的 Granite-Docling 把"版面 + 表格 + 公式"端到端打包进一个模型。与此同时,OmniDocBench 这类公开基准开始把 MinerU、Docling、Unstructured 放在同一把尺子上量,微软也开源了自己的文档转 Markdown 工具。解析正在从"技术壁垒"变成"标准配件"。
这篇文章不打算复述 Docling 的 README,而是以这个仓库的源码为证据,回答三个问题:自研解析的隐性成本到底有多大?开源工具是如何把解析压缩成一行调用的?企业现在应该怎么选?
一、自研解析的隐性成本:版面、表格、公式三个无底洞
把一份 PDF 变成 LLM 能吃的结构化文本,听上去是"读出来写下来",实际上是一连串独立模型的串烧。看 Docling 的 PDF 管线实现 docling/pipeline/standard_pdf_pipeline.py 就能数清楚:页面预处理、版面分析、OCR、表格结构、代码与公式识别、阅读顺序、页面组装、标题层级……每个环节都是独立模块,各自挂载模型与后处理逻辑。
版面分析是第一道坎。 PDF 本身是无结构的:只有"坐标 + 字符流",没有段落、标题、栏目的概念。要让解析结果对 RAG 有意义,必须先检测出文本块、标题、表格、图片、公式各自的边界框。Docling 的布局模型已经迭代到 Heron / Egret 系列,默认的 docling-layout-heron 承担区域检测,这在 docs/usage/model_catalog.md 里被明确标注为默认选项。这意味着即便是"读一个 PDF"这样最小的解析任务,自研也至少要训练或集成一个目标检测模型,还要处理跨栏、页眉页脚、水印、图文混排等无穷无尽的边界情况。
表格是第二个深坑。 表格是文档解析里公认最难的单项:没有单元格边界标注,合并单元格、跨页表、嵌套表、多行表头都靠猜。Docling 的做法是引入专门的 TableFormer 模型,并区分 accurate / fast 两档模式,还需要 do_cell_matching 做单元格与文本的匹配后处理——具体见 docling/models/stages/table_structure/table_structure_model.py。一个表格识别模型 + 一个匹配后处理,自研成本肉眼可见。
公式是第三个坑,而且更隐蔽。 公式不能当纯文本处理,符号的下标、上标、分式、矩阵一旦扁平化就语义全失。Docling 的处理思路是把公式转成 LaTeX 语义保留。以 Word 文档为例,仓库里专门维护了一个 OMML(Office Math Markup Language)到 LaTeX 的转换器 docling/backend/docx/latex/omml.py,处理分式、矩阵、极限、特殊字符等几十种构造;对 LaTeX 源文件则走专门的 LaTeX 后端。公式、代码、图片分类、阅读顺序、标题层级……这套清单还在继续拉长。
最直观的证据在测试目录 tests/:Docling 为 PDF、DOCX、PPTX、XLSX、EPUB、iWork、JATS、XBRL、AFP、EBCDIC、WebVTT 等几十种格式维护了成百上千条 groundtruth 对照用例。任何自研解析系统,把这套边界 case 矩阵手工填平的工作量,已经接近一个专职团队数年的人力预算——这才是"版面、表格、公式"之外的真正无底洞。
二、Docling 们如何把解析压缩成一行调用
如果自研意味着每个格式都要维护"解析后端 + 模型管线 + 输出序列化"三套体系,那开源工具的反击方式就是:把这三套体系全部封装进一个路由对象。
在 Docling 里,这个对象是 DocumentConverter。看 docling/document_converter.py 的 _get_default_option 方法,会发现一张非常直白的映射表:CSV、XLSX、DOCX、PPTX、ODT、HTML、EPUB、LaTeX、JATS、USPTO、XBRL、EBCDIC、AFP、iWork 三件套、音频、视频……三十多种格式,每一种都绑定了"后端(backend)+ 管线(pipeline)"。PDF 走 StandardPdfPipeline,DOCX 走 Word 后端,图片走 ImageDocumentBackend 再进标准 PDF 管线,音频走 ASR 管线。格式识别、模型加载、管线初始化、并发批处理全部由框架代管。
于是官方 Quickstart 把整个解析过程压缩成了三行 Python:
from docling.document_converter import DocumentConverter
converter = DocumentConverter()
result = converter.convert("path/to/document.pdf")
print(result.document.export_to_markdown())
命令行版本更短,一行命令直出 Markdown:
docling https://arxiv.org/pdf/2206.01062
这行代码背后是完整的分层设计(docs/concepts/architecture.md):输入格式 → 对应 backend 解析 → 对应 pipeline 编排各阶段模型 → 产出统一的 DoclingDocument 中间表示 → 再按需导出 Markdown、JSON、HTML、DocLang 或纯文本(docs/usage/supported_formats.md)。DoclingDocument 是这套设计的支点:版面、表格、公式、图片、阅读顺序都携带语义标签与坐标,导出的 Markdown 因此不是"拼出来的文本",而是"从结构化文档序列化出来的产物"——这正是 RAG 场景最需要的那个中间形态。
再往上走,工具化的触角已经伸到"解析之后"和"调用之前"两端:
- 解析之后:仓库原生提供分层与混合 chunker(docling/chunking/init.py),并把
BaseChunker接口直接对接 LlamaIndex、LangChain、Haystack、Crew AI 等框架,见 docs/integrations/index.md——解析完顺手把切块也做完了。 - 调用之前:Docling 提供了 MCP Server,在 Claude Desktop 或 LM Studio 的配置文件里加一段 JSON 就能让 Agent 直接调用文档解析能力(docs/usage/mcp.md)。解析变成了 Agent 工具箱里的一个普通 tool。
- 模型层面:除了经典的"布局 + 表格"分阶段模型,IBM 还推出了 Granite-Docling-258M 这类端到端 VLM,把整条管线收敛进单模型,直接输出带版面标记的 DocTags(docs/usage/model_catalog.md)。OCR 引擎则可插拔替换 Tesseract、EasyOCR、RapidOCR、Surya 等。
当"解析 + 切块 + Agent 调用"全部变成标准件,护城河叙事就彻底站不住了:竞争对手拷贝的不是某个模型权重,而是整个已被开源社区反复打磨的工具链。
三、企业该自研还是该选型开源工具
先看一组社区已经替我们做过的功课:OmniDocBench 评测把 MinerU、Docling、Unstructured 放在同一基准上横向比较;智源社区的"6 大 RAG 知识库 PDF 处理工具对比"把易用性、准确率、部署成本摊开列成表格;连微软都在开源自己的 Office 文档转 Markdown 工具。结论很一致:通用文档解析的准确率天花板,正在被一批开源工具共同抬高,且彼此差距在缩小。这个赛道的"工具化"已经完成了一半——剩下的竞争发生在模型精度与工程化细节上,而不是"能不能做"。
在这样的格局下,企业决策其实可以收敛成三条原则:
第一,默认不自研,先做成本对照。 自研的真正成本不是"写代码",而是测试矩阵的维护:Docling 的 tests/ 目录就是一个缩影——几十种格式、上千条对照用例、每更新一个模型都要回归。如果你的业务不需要处理冷门格式或极端版面,用开源工具 + 公开基准验证过的模型组合,几乎是零成本的起点。
第二,把"解析"定位成可替换的基础设施,而不是核心资产。 你的差异化在领域知识、数据管线、Agent 编排、行业合规,不在把 PDF 读出文字。Docling 的架构恰好支持这种心态:后端、管线、OCR 引擎、VLM 引擎全部可配置可替换,模型走本地执行、支持离线与隔离环境部署(README 明确把 "Local execution capabilities for sensitive data and air-gapped environments" 列为特性),敏感数据不必出域。这意味着解析层随时可以换、可以升级,而你的业务层不受影响。
第三,仅在两种情况下考虑自研或深度定制: 一是垂直领域存在通用工具系统性失效的硬 case(如特定行业的表格制式、专利/金融 XML 语义),二是你需要在解析结果上叠加自有的后处理逻辑(如领域实体校验)。即便如此,更务实的路径也是"开源核心 + 自定义后端/管线钩子",而非从零重写——Docling 的 backend 与 pipeline 本就预留了子类化扩展点。
回到开头的问题:当 IBM 用 258M 参数模型端到端完成版面、表格、公式理解,当解析能力被装进 MCP 变成 Agent 的普通工具,当公开基准开始给各家工具排队打分——"手写解析"作为护城河的故事就已经讲完了。工具化的下一步,是把你的精力从"教模型读懂 PDF"挪到"用读懂的内容解决业务问题"上。后者,才是真正值得投入的地方。

