PaddleOCR 关键信息抽取(KIE)实战指南:SER 语义实体识别与 RE 关系抽取的完整训练与部署流程
PaddleOCR 关键信息抽取(KIE)实战指南:SER 语义实体识别与 RE 关系抽取的完整训练与部署流程
本文以 PaddleOCR 中基于 VI-LayoutXLM 多模态预训练模型的关键信息抽取(Key Information Extraction, KIE)为主线,系统讲解语义实体识别(Semantic Entity Recognition, SER)与关系抽取(Relation Extraction, RE)两大任务从数据准备、模型训练、指标评估、结果预测到 inference 模型导出与推理的完整链路。读者读完本文后,可独立完成自定义票据、证件、表单类文档的关键信息抽取模型训练与部署,并理解 PaddleOCR 中 KIE 相关配置与源码的对应关系。
1. 任务背景与整体流程
关键信息抽取的目标是从版面复杂的文档图像(如发票、表单、证件)中识别出文本,并将文本归类为预定义的语义类别(如 QUESTION、ANSWER、HEADER),进而抽取文本实体之间的关联关系。PaddleOCR 将这一过程拆解为两个子任务:
- SER(语义实体识别):对每个文本 token 进行 BIO 序列标注,判断其属于哪个语义类别;
- RE(关系抽取):基于 SER 的结果,进一步在实体对之间建立关系(如"问题-答案"配对)。
整个流程依次为:数据准备 → 模型训练 → 断点恢复/蒸馏/分布式扩展 → 指标评估 → 结果预测 → 模型导出(inference 模型)→ 基于 ppstructure 的推理部署。本文档对应的训练配置位于 configs/kie/vi_layoutxlm 目录,核心推理脚本位于 tools/infer_kie_token_ser.py 与 tools/infer_kie_token_ser_re.py,部署脚本位于 ppstructure/kie 目录。
2. 数据准备
2.1 数据集目录规划
在训练信息抽取相关模型时,PaddleOCR 支持以文本文件存储的通用数据集(SimpleDataSet)。训练数据的默认存储路径是 PaddleOCR/train_data。如果磁盘上已有数据集,只需创建软链接至数据集目录:
# linux and mac os
ln -sf <path/to/dataset> <path/to/paddle_ocr>/train_data/dataset
# windows
mklink /d <path/to/paddle_ocr>/train_data/dataset <path/to/dataset>
2.2 自定义数据集格式
训练过程一般包含训练集与验证集,二者数据格式相同。
(1)训练集
建议将训练图片放入同一个文件夹,并用一个文本文件记录图片路径和标签。文本文件中,图片路径与图片标签之间必须使用 \t(Tab)分割,如使用其他方式分割将造成训练报错。标签内容是一个 JSON 字符串,解析后得到列表,列表每个元素是字典,描述一个文本行:
" 图像文件名 图像标注信息 "
zh_train_0.jpg [{"transcription": "汇丰晋信", "label": "other", "points": [[104, 114], [530, 114], [530, 175], [104, 175]], "id": 1, "linking": []}, {"transcription": "受理时间:", "label": "question", "points": [[126, 267], [266, 267], [266, 305], [126, 305]], "id": 7, "linking": [[7, 13]]}, {"transcription": "2020.6.15", "label": "answer", "points": [[321, 239], [537, 239], [537, 285], [321, 285]], "id": 13, "linking": [[7, 13]]}]
zh_train_1.jpg [{"transcription": "中国人体器官捐献", "label": "other", "points": [[544, 459], [954, 459], [954, 517], [544, 517]], "id": 1, "linking": []}, {"transcription": ">编号:MC545715483585", "label": "other", "points": [[1462, 470], [2054, 470], [2054, 543], [1462, 543]], "id": 10, "linking": []}, {"transcription": "CHINAORGANDONATION", "label": "other", "points": [[543, 516], [958, 516], [958, 551], [543, 551]], "id": 14, "linking": []}, {"transcription": "中国人体器官捐献志愿登记表", "label": "header", "points": [[635, 793], [1892, 793], [1892, 904], [635, 904]], "id": 18, "linking": []}]
...
各字段含义如下:
| 字段 | 含义 |
|---|---|
| transcription | 文本行的文字内容 |
| label | 该文本行内容所属的类别 |
| points | 文本行的四点位置信息(左上、右上、右下、左下) |
| id | 文本行的 id 信息,用于 RE 任务的训练 |
| linking | 文本行之间的连接信息,用于 RE 任务的训练(如 [[7, 13]] 表示 id=7 与 id=13 的文本行存在关系) |
(2)验证集
验证集构建方式与训练集相同,图片与标签文件结构一致。
(3)字典文件
训练集与验证集中的文本行包含标签信息,所有标签的列表存在字典文件中(如 class_list.txt),字典文件中的每一行表示一个类别名称。以 XFUND_zh 数据为例,共包含 4 个类别:
OTHER
QUESTION
ANSWER
HEADER
标注文件中每个文本行的 label 字段必须属于字典内容。需要注意两点:
- 标注文件中的类别信息不区分大小写,如
HEADER与header会被解析为相同的类别 id,因此不能使用仅大小写不同的字符串表示不同的类别; - 建议将
other类别(无需关注的文本行)放在字典第一行,解析时other的类别 id 会被解析为 0,后续不会对该类进行可视化。
最终数据集应有如下文件结构:
|-train_data
|-data_name
|- train.json
|- train
|- zh_train_0.png
|- zh_train_1.jpg
| ...
|- val.json
|- val
|- zh_val_0.png
|- zh_val_1.jpg
| ...
2.3 数据下载与转换
如果没有本地数据集,可以从 XFUND 或 FUNSD 官网下载公开数据,然后使用仓库提供的处理脚本转换成 PaddleOCR 训练格式:
- XFUND 转换脚本:ppstructure/kie/tools/trans_xfun_data.py
- FUNSD 转换脚本:ppstructure/kie/tools/trans_funsd_label.py
以 XFUND 脚本为例,其核心逻辑(trans_xfun_data.py)读取原始 JSON 标注,将每个文档的 box 坐标转换为四点 points,并保留 transcription、label、id、linking 字段,最终按 图片路径\tJSON标签 的格式逐行写出。脚本通过命令行参数运行:
python3 ppstructure/kie/tools/trans_xfun_data.py --ori_gt_path <原始标注文件> --output_path <输出标签文件>
更多公开数据集介绍可参考 关键信息抽取数据集说明文档,其中整理了 FUNSD、XFUND、wildreceipt 等数据集的来源、规模与转换后下载地址。此外,PaddleOCR 也支持关键信息抽取模型的专用标注工具 PPOCRLabel,具体使用方法可查阅 PPOCRLabel 官方文档。
3. 模型训练
PaddleOCR 提供了训练脚本 tools/train.py、评估脚本 tools/eval.py 和预测脚本。本节以 VI-LayoutXLM 多模态预训练模型为例进行讲解。如需使用基于 SDMGR 的关键信息抽取算法,可参考 docs/version2.x/algorithm/ 目录下的 SDMGR 使用文档。
3.1 快速体验:下载数据与预训练模型
如果没有自定义数据集,可以直接使用 PaddleOCR 已处理好的 XFUND_zh 数据集进行快速体验:
mkdir train_data
cd train_data
wget https://paddleocr.bj.bcebos.com/ppstructure/dataset/XFUND.tar && tar -xf XFUND.tar
cd ..
如果不想训练,直接体验模型评估、预测、动转静、推理流程,可以下载 SER 与 RE 任务的预训练模型并跳过 3.2 节:
mkdir pretrained_model
cd pretrained_model
# 下载并解压SER预训练模型
wget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/ser_vi_layoutxlm_xfund_pretrained.tar & tar -xf ser_vi_layoutxlm_xfund_pretrained.tar
# 下载并解压RE预训练模型
wget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/re_vi_layoutxlm_xfund_pretrained.tar & tar -xf re_vi_layoutxlm_xfund_pretrained.tar
3.2 启动训练
开始训练前需注意两点:
- 如果安装的是 CPU 版本,请将配置文件中的
use_gpu字段修改为false; - PaddleOCR 训练时会默认下载 VI-LayoutXLM 预训练模型,这里无需预先手动下载。
# GPU训练 支持单卡、多卡训练
# 训练日志会自动保存到 配置文件中"{Global.save_model_dir}" 下的train.log文件中
# SER单卡训练
python3 tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml
# SER多卡训练,通过--gpus参数指定卡号
python3 -m paddle.distributed.launch --gpus '0,1,2,3' tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml
# RE任务单卡训练
python3 tools/train.py -c configs/kie/vi_layoutxlm/re_vi_layoutxlm_xfund_zh.yml
以 SER 任务为例,正常启动训练后会看到如下 log 输出:
[2022/08/08 16:28:28] ppocr INFO: epoch: [1/200], global_step: 10, lr: 0.000006, loss: 1.871535, avg_reader_cost: 0.28200 s, avg_batch_cost: 0.82318 s, avg_samples: 8.0, ips: 9.71838 samples/s, eta: 0:51:59
[2022/08/08 16:28:33] ppocr INFO: epoch: [1/200], global_step: 19, lr: 0.000018, loss: 1.461939, avg_reader_cost: 0.00042 s, avg_batch_cost: 0.32037 s, avg_samples: 6.9, ips: 21.53773 samples/s, eta: 0:37:55
[2022/08/08 16:28:39] ppocr INFO: cur metric, precision: 0.11526348939743859, recall: 0.19776657060518732, hmean: 0.14564265817747712, fps: 34.008392345050055
[2022/08/08 16:28:45] ppocr INFO: save best model is to ./output/ser_vi_layoutxlm_xfund_zh/best_accuracy
[2022/08/08 16:28:45] ppocr INFO: best metric, hmean: 0.14564265817747712, precision: 0.11526348939743859, recall: 0.19776657060518732, fps: 34.008392345050055, best_epoch: 1
[2022/08/08 16:28:51] ppocr INFO: save model in ./output/ser_vi_layoutxlm_xfund_zh/latest
log 中自动打印的字段含义如下:
| 字段 | 含义 |
|---|---|
| epoch | 当前迭代轮次 |
| iter | 当前迭代次数 |
| lr | 当前学习率 |
| loss | 当前损失函数 |
| reader_cost | 当前 batch 数据处理耗时 |
| batch_cost | 当前 batch 总耗时 |
| samples | 当前 batch 内的样本数 |
| ips | 每秒处理图片的数量 |
PaddleOCR 支持训练和评估交替进行,可在 ser_vi_layoutxlm_xfund_zh.yml 中修改 eval_batch_step 设置评估频率,默认配置为 [0, 19],即每 19 个 iter 评估一次。评估过程中默认将最优 hmean 模型保存为 output/ser_vi_layoutxlm_xfund_zh/best_accuracy/。如果验证集很大,测试会比较耗时,建议减少评估次数,或训练完再进行评估。
可通过 -c 参数选择 configs/kie/ 路径下的多种模型配置进行训练(包括 layoutlm_series、vi_layoutxlm、sdmgr 等子目录),PaddleOCR 支持的信息抽取算法可参考 docs/version2.x/algorithm/ 目录下的算法概览文档。
3.3 自定义数据集训练:修改配置文件
训练自定义数据集时,需要修改配置文件中的数据配置、字典文件以及类别数。以 ser_vi_layoutxlm_xfund_zh.yml 为例:
Architecture:
# ...
Backbone:
name: LayoutXLMForSer
pretrained: True
mode: vi
# 由于采用BIO标注,假设字典中包含n个字段(包含other)时,则类别数为2n-1; 假设字典中包含n个字段(不含other)时,则类别数为2n+1。否则在train过程会报:IndexError: (OutOfRange) label value should less than the shape of axis dimension 。
num_classes: &num_classes 7
PostProcess:
name: VQASerTokenLayoutLMPostProcess
# 修改字典文件的路径为你自定义的数据集的字典路径
class_path: &class_path train_data/XFUND/class_list_xfun.txt
Train:
dataset:
name: SimpleDataSet
# 修改为你自己的训练数据目录
data_dir: train_data/XFUND/zh_train/image
# 修改为你自己的训练数据标签文件
label_file_list:
- train_data/XFUND/zh_train/train.json
...
loader:
# 训练时的单卡batch_size
batch_size_per_card: 8
...
Eval:
dataset:
name: SimpleDataSet
# 修改为你自己的验证数据目录
data_dir: train_data/XFUND/zh_val/image
# 修改为你自己的验证数据标签文件
label_file_list:
- train_data/XFUND/zh_val/val.json
...
loader:
# 验证时的单卡batch_size
batch_size_per_card: 8
关于 num_classes 的计算规则需要特别说明:PaddleOCR 的 KIE 模型采用 BIO 序列标注方案。从后处理源码 vqa_token_ser_layoutlm_postprocess.py 可以看到,SER 后处理会将字典类别展开为 O 与 B-类别/I-类别 形式。因此当字典包含 n 个类别(含 other)时,模型输出类别数为 2n-1(O 只占 1 类,其余 n-1 个类别各占 B/I 两类);若字典不含 other,则为 2n+1。以 XFUND 四类字典(OTHER、QUESTION、ANSWER、HEADER)为例,num_classes = 2×4-1 = 7。配置错误会导致训练时报 IndexError: (OutOfRange) label value should less than the shape of axis dimension。
注意:预测/评估时的配置文件请务必与训练一致。
3.4 断点训练
如果训练程序中断,可通过指定 Architecture.Backbone.checkpoints 加载中断时的模型恢复训练:
python3 tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./output/ser_vi_layoutxlm_xfund_zh/best_accuracy
注意:
Architecture.Backbone.checkpoints的优先级高于Architecture.Backbone.pretrained。需要加载之前训练好的模型进行微调、恢复训练、模型评估时,应使用checkpoints指定模型参数路径;如需使用默认的通用预训练模型从头训练,则应设置pretrained为True,同时将checkpoints置空(null);- LayoutXLM 系列模型均调用 PaddleNLP 中的预训练模型,模型加载与保存逻辑与 PaddleNLP 基本一致,因此不需要指定
Global.pretrained_model或Global.checkpoints参数;此外,LayoutXLM 系列模型的蒸馏训练目前不支持断点训练。
3.5 分布式训练
多机多卡训练时,通过 --ips 参数设置使用的机器 IP 地址,通过 --gpus 参数设置使用的 GPU ID:
python3 -m paddle.distributed.launch --ips="xx.xx.xx.xx,xx.xx.xx.xx" --gpus '0,1,2,3' tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml
注意:(1)多机多卡训练时,需要将上述 ips 值替换为实际机器地址,且机器之间需要能够相互 ping 通,查看机器 IP 地址的命令为 ifconfig;(2)训练时需要在多台机器上分别启动命令;(3)更多关于分布式训练的性能优势等信息,可参考仓库 docs 目录下的分布式训练教程。
3.6 知识蒸馏训练
PaddleOCR 支持基于 U-DML 知识蒸馏的关键信息抽取模型训练,配置文件为 ser_vi_layoutxlm_xfund_zh_udml.yml(RE 任务对应 re_vi_layoutxlm_xfund_zh_udml.yml)。
从蒸馏配置可以看出其结构:Architecture 采用 DistillationModel,包含 Teacher 与 Student 两个 LayoutXLMForSer 分支;Loss 使用 CombinedLoss,组合了 DistillationVQASerTokenLayoutLMLoss(权重 1.0)、DistillationSERDMLLoss(权重 1.0,softmax + log)以及两个基于 hidden_states 第 5、8 层的 DistillationVQADistanceLoss(l2 距离,权重各 0.5);PostProcess 使用 DistillationSerPostProcess,Metric 使用 DistillationMetric 并以 Student 分支的 hmean 作为主指标。更多知识蒸馏说明可参考仓库 docs 目录下的知识蒸馏文档。
注意:LayoutXLM 系列 KIE 模型的保存与加载逻辑与 PaddleNLP 保持一致,因此在蒸馏过程中仅保存了学生模型的参数。如果希望使用保存的模型进行评估,需要使用学生模型对应的普通配置(即 ser_vi_layoutxlm_xfund_zh.yml)。
3.7 其他训练环境
- Windows GPU/CPU:与 Linux 平台略有不同。Windows 平台只支持单卡的训练与预测,指定 GPU 训练使用
set CUDA_VISIBLE_DEVICES=0;Windows 平台 DataLoader 只支持单进程模式,因此需要设置num_workers为 0; - macOS:不支持 GPU 模式,需要在配置文件中设置
use_gpu为False,其余训练评估预测命令与 Linux GPU 完全相同; - Linux DCU:DCU 设备上运行需要设置环境变量
export HIP_VISIBLE_DEVICES=0,1,2,3,其余训练评估预测命令与 Linux GPU 完全相同。
4. 模型评估与预测
4.1 指标评估
训练中模型参数默认保存在 Global.save_model_dir 目录下。评估指标时,需要设置 Architecture.Backbone.checkpoints 指向保存的参数文件,评估数据集可通过 ser_vi_layoutxlm_xfund_zh.yml 中 Eval 下的 label_file_list 设置:
# GPU 评估, Architecture.Backbone.checkpoints 为待测权重
python3 tools/eval.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./output/ser_vi_layoutxlm_xfund_zh/best_accuracy
会输出以下信息,打印 precision、recall、hmean 等指标:
[2022/08/09 07:59:28] ppocr INFO: metric eval ***************
[2022/08/09 07:59:28] ppocr INFO: precision:0.697476609016161
[2022/08/09 07:59:28] ppocr INFO: recall:0.8861671469740634
[2022/08/09 07:59:28] ppocr INFO: hmean:0.7805806758686339
[2022/08/09 07:59:28] ppocr INFO: fps:17.367364606899105
4.2 测试信息抽取结果
使用 PaddleOCR 训练好的模型,可以通过预测脚本进行快速预测。默认预测的图片通过 Global.infer_img 指定,通过 -o Architecture.Backbone.checkpoints 加载训练好的参数文件。
根据配置文件中设置的 save_model_dir 和 save_epoch_step 字段,训练结束后会有以下几种参数被保存下来:
output/ser_vi_layoutxlm_xfund_zh/
├── best_accuracy
├── metric.states
├── model_config.json
├── model_state.pdparams
├── best_accuracy.pdopt
├── config.yml
├── train.log
├── latest
├── metric.states
├── model_config.json
├── model_state.pdparams
├── latest.pdopt
其中 best_accuracy.* 是评估集上的最优模型,latest.* 是最新保存的模型。
SER 任务预测
预测使用的配置文件必须与训练一致,例如通过 python3 tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml 完成训练后,使用如下命令进行中文模型预测:
python3 tools/infer_kie_token_ser.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./output/ser_vi_layoutxlm_xfund_zh/best_accuracy Global.infer_img=./ppstructure/docs/kie/input/zh_val_42.jpg
预测结果图片会存储在 Global.save_res_path 路径中。从预测脚本 infer_kie_token_ser.py 的源码可以看出,SerPredictor 会执行以下关键步骤:
- 构建后处理
VQASerTokenLayoutLMPostProcess与模型LayoutXLMForSer; - 加载权重后创建
PaddleOCROCR 引擎(默认加载 PP-OCRv3 检测识别模型),用于对输入图像做 OCR,为 KIE 模型提供文本行; - 将配置中
Eval.dataset.transforms里的VQATokenLabelEncode等算子注入 OCR 引擎,构建数据预处理流水线; - 预测时读取图片 → 执行 transform → 模型推理 → 后处理得到每个文本行的语义类别,并调用
draw_ser_results可视化保存。
预测过程中默认会加载 PP-OCRv3 的检测识别模型用于 OCR。如果希望直接使用预先获取的 OCR 结果(如标注文件中的 OCR 信息),可以指定 Global.infer_img 为标注文件(其中包含图片路径及 OCR 信息),同时指定 Global.infer_mode 为 False,表示此时不使用 OCR 预测引擎:
python3 tools/infer_kie_token_ser.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./output/ser_vi_layoutxlm_xfund_zh/best_accuracy Global.infer_img=./train_data/XFUND/zh_val/val.json Global.infer_mode=False
使用标注的 OCR 结果进行信息抽取时,部分检测框信息会更加准确,但整体信息抽取识别结果与在线 OCR 基本一致。
RE 任务预测
RE 任务模型预测时,需要先给出模型的 SER 结果,因此需要同时加载 SER 的配置文件与模型权重。执行脚本为 tools/infer_kie_token_ser_re.py,示例如下:
python3 ./tools/infer_kie_token_ser_re.py \
-c configs/kie/vi_layoutxlm/re_vi_layoutxlm_xfund_zh.yml \
-o Architecture.Backbone.checkpoints=./pretrain_models/re_vi_layoutxlm_udml_xfund_zh/best_accuracy/ \
Global.infer_img=./train_data/XFUND/zh_val/image/ \
-c_ser configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml \
-o_ser Architecture.Backbone.checkpoints=pretrain_models/ser_vi_layoutxlm_udml_xfund_zh/best_accuracy/
如果希望使用标注或预先获取的 OCR 信息进行 RE 关键信息抽取,同样可以指定 Global.infer_mode 为 False、Global.infer_img 为标注文件:
python3 ./tools/infer_kie_token_ser_re.py -c configs/kie/vi_layoutxlm/re_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./pretrain_models/re_vi_layoutxlm_udml_xfund_zh/re_layoutxlm_xfund_zh_v4_udml/best_accuracy/ Global.infer_img=./train_data/XFUND/zh_val/val.json Global.infer_mode=False -c_ser configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml -o_ser Architecture.Backbone.checkpoints=pretrain_models/ser_vi_layoutxlm_udml_xfund_zh/best_accuracy/
其中 -c_ser 表示 SER 的配置文件,-o_ser 后面需要加上待修改的 SER 模型参数(如预训练权重等)。从 infer_kie_token_ser_re.py 的源码可以看到,ReArgsParser 在基础参数之外额外注册了 -c_ser/--config_ser 与 -o_ser/--opt_ser 两个参数;运行时先通过 SerPredictor 得到 SER 结果,再由 make_input 将 SER 预测的实体(HEADER、QUESTION、ANSWER)转换为 RE 模型需要的 entities 与 relations 张量输入,最后经 VQAReTokenLayoutLMPostProcess 后处理输出关系预测。整体而言,直接使用标注 OCR 结果的 RE 预测结果会更准确一些。
5. 模型导出与推理
5.1 模型导出
inference 模型(paddle.jit.save 保存的模型)是模型训练后,把模型结构和模型参数固化到文件中的模型,多用于预测部署场景。训练过程中保存的 checkpoints 模型只保存模型参数,多用于恢复训练等。与 checkpoints 模型相比,inference 模型会额外保存模型的结构信息,在预测部署、加速推理上性能优越、灵活方便,更适合实际系统集成。
SER 任务转 inference 模型:
# -c 后面设置训练算法的yml配置文件
# -o 配置可选参数
# Architecture.Backbone.checkpoints 参数设置待转换的训练模型地址
# Global.save_inference_dir 参数设置转换的模型将保存的地址
python3 tools/export_model.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./output/ser_vi_layoutxlm_xfund_zh/best_accuracy Global.save_inference_dir=./inference/ser_vi_layoutxlm
转换成功后,目录下有三个文件:
inference/ser_vi_layoutxlm/
├── inference.pdiparams # inference模型的参数文件
├── inference.pdiparams.info # inference模型的参数信息,可忽略
└── inference.pdmodel # inference模型的模型结构文件
RE 任务转 inference 模型:
python3 tools/export_model.py -c configs/kie/vi_layoutxlm/re_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./output/re_vi_layoutxlm_xfund_zh/best_accuracy Global.save_inference_dir=./inference/re_vi_layoutxlm
转换成功后同样生成 inference.pdiparams、inference.pdiparams.info、inference.pdmodel 三个文件。
5.2 模型推理(ppstructure 部署)
VI-LayoutXLM 模型基于 SER 任务进行推理,进入 ppstructure 目录执行:
cd ppstructure
python3 kie/predict_kie_token_ser.py \
--kie_algorithm=LayoutXLM \
--ser_model_dir=../inference/ser_vi_layoutxlm \
--image_dir=./docs/kie/input/zh_val_42.jpg \
--ser_dict_path=../train_data/XFUND/class_list_xfun.txt \
--vis_font_path=../doc/fonts/simfang.ttf \
--ocr_order_method="tb-yx"
SER 可视化结果默认保存到 ./output 文件夹。从部署脚本 ppstructure/kie/predict_kie_token_ser.py 可以看出,SerPredictor 内部会创建 PaddleOCR OCR 引擎(支持 --use_angle_cls、--det_model_dir、--rec_model_dir 等参数),并基于 --kie_algorithm、--ser_dict_path、--ocr_order_method 构造与训练一致的数据预处理流水线(VQATokenLabelEncode → VQATokenPad → VQASerTokenChunk → Resize → NormalizeImage → ToCHWImage → KeepKeys),推理结果以 infer.txt 和可视化图片两种形式写入 --output 指定目录。
VI-LayoutXLM 模型基于 RE 任务进行推理:
cd ppstructure
python3 kie/predict_kie_token_ser_re.py \
--kie_algorithm=LayoutXLM \
--re_model_dir=../inference/re_vi_layoutxlm \
--ser_model_dir=../inference/ser_vi_layoutxlm \
--use_visual_backbone=False \
--image_dir=./docs/kie/input/zh_val_42.jpg \
--ser_dict_path=../train_data/XFUND/class_list_xfun.txt \
--vis_font_path=../doc/fonts/simfang.ttf \
--ocr_order_method="tb-yx"
RE 可视化结果默认保存到 ./output 文件夹。从 predict_kie_token_ser_re.py 的源码可以看到,SerRePredictor 先复用 SerPredictor 得到 SER 结果,再将其转换为 RE 模型输入;当 --re_model_dir 为空时,该脚本会退化为纯 SER 预测,仅输出 SER 可视化结果(文件名为 *_ser.jpg),而当配置了 RE 模型时输出 *_ser_re.jpg。其中 --use_visual_backbone=False 表示不将视觉特征输入 RE 模型,对应源码中 re_input.pop(4) 的操作。
6. 常见问题(FAQ)
Q1:训练模型转 inference 模型之后预测效果不一致?
A:该问题多是 trained model 预测时的预处理、后处理参数与 inference model 预测时的预处理、后处理参数不一致导致的。可以对比训练使用的配置文件与预测时的预处理、后处理参数是否存在差异,确保两者完全一致。同时,上文 3.3 节也强调"预测/评估时的配置文件请务必与训练一致",这是保证训练、评估、导出、推理全链路效果一致的前提。
7. 总结
本文完整覆盖了 PaddleOCR 关键信息抽取(SER + RE)的实战全流程:从 XFUND/FUNSD 等公开数据的转换,到自定义数据集的标注格式与字典设计;从 VI-LayoutXLM 的单卡/多卡训练、断点恢复、分布式训练与 U-DML 知识蒸馏,到指标评估、带 OCR/不带 OCR 两种预测模式;再到 inference 模型导出与 ppstructure 部署推理。同时结合 configs/kie/vi_layoutxlm 下的真实配置与 tools/infer_kie_token_ser.py、tools/infer_kie_token_ser_re.py、ppstructure/kie/predict_kie_token_ser.py 等源码,解释了 num_classes 的 BIO 计算规则、SER 后处理标签映射、RE 输入的实体/关系张量构造等底层原理。读者可参照本文直接替换为自己的票据、表单或证件数据集,完成整套 KIE 模型的训练与上线部署。