文档布局分析利器：DocLayout-YOLO 使用指南

1. 项目介绍

DocLayout-YOLO 是一个基于 YOLO-v10 的实时且稳健的文档布局检测模型。它通过多样化的文档预训练和针对布局检测的结构优化来增强文档布局分析能力。在预训练阶段，引入了 Mesh-candidate BestFit，将文档合成视为二维装箱问题，并创建了一个大规模多样化合成文档数据集 DocSynth-300K。在模型结构优化方面，提出了具有全局到局部可控性的模块，以精确检测不同尺度的文档元素。

2. 项目快速启动

环境设置

首先，需要创建并激活 Python 环境：

conda create -n doclayout_yolo python=3.10
conda activate doclayout_yolo

接着，安装项目依赖：

pip install -e .

如果你只需要用于推理的包，可以直接安装：

pip install doclayout-yolo

推理预测

可以使用脚本或 SDK 进行预测。

使用脚本预测

运行以下命令进行预测：

python demo.py --model path/to/model --image-path path/to/image

使用 SDK 预测

以下是使用 SDK 进行预测的示例：

import cv2
from doclayout_yolo import YOLOv10

# 加载预训练模型
model = YOLOv10("path/to/provided/model")

# 进行预测
det_res = model.predict(
    "path/to/image",  # 预测图像路径
    imgsz=1024,       # 预测图像大小
    conf=0.2,         # 置信度阈值
    device="cuda:0"   # 使用的设备（例如 'cuda:0' 或 'cpu'）
)

# 注解并保存结果
annotated_frame = det_res[0].plot(pil=True, line_width=5, font_size=20)
cv2.imwrite("result.jpg", annotated_frame)

3. 应用案例和最佳实践

• 文档结构提取：DocLayout-YOLO 可以直接用于文档结构提取，可以结合 PDF-Extract-Kit 和 MinerU 进行 PDF 内容提取。
• 数据增强：使用 DocSynth300K 数据集进行预训练，可以显著提升模型性能。
• 集成与扩展：DocLayout-YOLO 支持通过 Huggingface 直接加载模型，便于集成和扩展。

4. 典型生态项目

DocLayout-YOLO 是基于 ultralytics 和 YOLO-v10 构建的，与这些开源项目有着紧密的生态关系。此外，该项目还得到了社区贡献者的支持，例如 NielsRogge 和 luciaganlulu 等，他们的贡献使得 DocLayout-YOLO 能够支持批量推理和预测等功能。