【免费下载】 Marker 开源项目使用教程

项目介绍

Marker 是一个基于深度学习的文档处理工具，旨在从 PDF 文件中提取文本、表格和代码块，并将其转换为 Markdown 格式。它支持 OCR 处理，能够在 GPU、CPU 或 MPS 上运行，适用于多种文档类型。Marker 的核心功能包括文本提取、布局检测、格式清理和后处理，通过一系列深度学习模型实现高效准确的文档处理。

项目快速启动

安装

首先，克隆项目仓库并安装所需的依赖：

git clone https://github.com/VikParuchuri/marker.git
cd marker
poetry install

配置

在 marker/settings.py 文件中进行必要的配置。可以通过环境变量覆盖默认设置。例如，如果使用 GPU，可以设置 TORCH_DEVICE=cuda 和 INFERENCE_RAM 为 GPU 的 VRAM 大小。

运行

下载基准测试数据并解压，然后运行基准测试脚本：

python benchmark.py data/pdfs data/references report.json --nougat

应用案例和最佳实践

案例一：学术论文处理

Marker 可以用于处理学术论文，提取其中的文本、表格和公式，并转换为 Markdown 格式，便于进一步编辑和分享。

案例二：技术文档转换

对于技术文档，Marker 能够准确提取代码块和表格，保持文档结构的完整性，适用于技术博客和开发文档的自动化处理。

最佳实践

• 优化配置：根据文档类型和硬件资源调整配置，以达到最佳性能。
• 批量处理：利用批量处理功能，提高处理效率。
• 错误处理：在处理过程中加入错误处理机制，确保处理流程的稳定性。

典型生态项目

Surya

Surya 是一个用于页面布局检测的深度学习模型，Marker 使用 Surya 来识别文档中的阅读顺序和布局结构。

Texify

Texify 是一个文本格式清理工具，Marker 利用 Texify 对提取的文本进行格式化和清理，确保输出的 Markdown 文档质量。

Nougat

Nougat 是一个 OCR 处理工具，Marker 在需要时使用 Nougat 进行文本识别，提高文档处理的准确性。

通过结合这些生态项目，Marker 能够提供一个完整的文档处理解决方案，适用于多种应用场景。