PaddleOCR KIE 关键信息抽取实战指南:基于 VI-LayoutXLM 的 SER/RE 数据准备、训练、评估与推理全流程

原创2026-09-11 10:16:061,712 阅读
文章标签:人工智能计算机视觉OCR深度学习图像处理MCP 服务AI 技能RAG

PaddleOCR KIE 关键信息抽取实战指南:基于 VI-LayoutXLM 的 SER/RE 数据准备、训练、评估与推理全流程

本文是 PaddleOCR 关键信息抽取(Key Information Extraction,KIE)的完整实战指南,系统讲解语义实体识别(SER)与关系抽取(RE)两大任务从数据准备、模型训练、评估测试到推理部署的全链路方法。读者按本文操作,即可基于 VI-LayoutXLM 多模态预训练模型在自有票据、表单等文档数据上完成 KIE 模型的训练与上线,并掌握配置文件、训练脚本与源码实现之间的对应关系。

PaddleOCR KIE 训练文档中的 SER 标注可视化结果示例:表单文档中的关键字段被识别为 header、question、answer 等语义类别

1. KIE 任务概述:SER 与 RE 是什么

关键信息抽取的目标是从版面复杂的文档图像中定位并结构化地抽出关键字段。PaddleOCR 将 KIE 拆分为两个互补的子任务:

  • 语义实体识别(Semantic Entity Recognition,SER):为 OCR 得到的每个文本行(token)打上语义类别标签,例如 question(问题)、answer(答案)、header(表头)、other(其他)。它解决"这段文字是什么"的问题。
  • 关系抽取(Relationship Extraction,RE):在 SER 结果的基础上,进一步判断实体之间的关联关系,例如"问题 受理时间: 与答案 2020.6.15 之间存在问答关系"。它解决"哪些实体彼此相关"的问题。

本文以 VI-LayoutXLM 多模态预训练模型为主线展开。从配置与源码看(configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml、ppocr/data/imaug/label_ops.py),VI-LayoutXLM 属于 NLP-VQA 类方法:它同时接收**文本 token(input_ids)、版面坐标(bbox)与文档图像(image)**三类输入,通过 LayoutXLM 的 Transformer 编码器融合文本语义与视觉版面信息,最终由分类头输出每个 token 的语义类别;RE 任务则在实体表示基础上预测实体对之间的关系。Architecture.Backbone 中 name: LayoutXLMForSer / LayoutXLMForRe 即分别对应 SER 与 RE 两个任务头,mode: vi 表示使用多语言(Vietnamese 等)版本的多模态预训练权重,也可切换为 base。

如需使用基于 SDMGR 的 KIE 算法(基于图神经网络的另一种方案),可参考 SDMGR 算法文档。本文聚焦 LayoutXLM 系列。

2. 数据准备

2.1 数据格式与目录组织

PaddleOCR 使用 general data(通用数据) 格式训练 KIE 模型,即标注存放在文本文件(JSON 行式)中的 SimpleDataset 格式。

训练数据默认存放在 PaddleOCR/train_data 下。如果数据集已存在于磁盘,只需为数据集目录创建软链接:

# linux and mac os
ln -sf <path/to/dataset> <path/to/paddle_ocr>/train_data/dataset
# windows
mklink /d <path/to/paddle_ocr>/train_data/dataset <path/to/dataset>

最终数据集应具备如下目录结构:

|-train_data
  |-data_name
    |- train.json
    |- train
        |- zh_train_0.png
        |- zh_train_1.jpg
        | ...
    |- val.json
    |- val
        |- zh_val_0.png
        |- zh_val_1.jpg
        | ...

训练过程一般包含训练集与评估集,两者的数据格式完全一致。

2.2 自定义数据集

(1) 训练集标注格式

建议将训练图像放在同一文件夹,并把"图像路径 + 标注信息"逐行记录在一个文本文件(如 train.json)中,格式如下:

" image path                 annotation information "
zh_train_0.jpg   [{"transcription": "汇丰晋信", "label": "other", "points": [[104, 114], [530, 114], [530, 175], [104, 175]], "id": 1, "linking": []}, {"transcription": "受理时间:", "label": "question", "points": [[126, 267], [266, 267], [266, 305], [126, 305]], "id": 7, "linking": [[7, 13]]}, {"transcription": "2020.6.15", "label": "answer", "points": [[321, 239], [537, 239], [537, 285], [321, 285]], "id": 13, "linking": [[7, 13]]}]
zh_train_1.jpg   [{"transcription": "中国人体器官捐献", "label": "other", "points": [[544, 459], [954, 459], [954, 517], [544, 517]], "id": 1, "linking": []}, {"transcription": ">编号:MC545715483585", "label": "other", "points": [[1462, 470], [2054, 470], [2054, 543], [1462, 543]], "id": 10, "linking": []}, {"transcription": "CHINAORGANDONATION", "label": "other", "points": [[543, 516], [958, 516], [958, 551], [543, 551]], "id": 14, "linking": []}, {"transcription": "中国人体器官捐献志愿登记表", "label": "header", "points": [[635, 793], [1892, 793], [1892, 904], [635, 904]], "id": 18, "linking": []}]
...

注意:文本文件中图像路径与标注之间必须用 \t(Tab)分隔,否则训练时会报错。

标注部分可被 json 解析为一个子标注列表,列表中每个元素是一个 dict,对应一行文本的全部所需信息,各字段含义如下:

字段 含义
transcription 文本行的文本内容
label 文本行内容的语义类别
points 文本行的四点位置坐标(按顺时针排列的四边形)
id 文本行的 ID,供 RE 模型训练使用
linking 文本行之间的连接(关系)信息,供 RE 模型训练使用,例如 [[7, 13]] 表示 id 为 7 与 13 的两个实体存在关系

linking 字段的解析逻辑可以在 VQATokenLabelEncode 的 filter_empty_contents 实现 中看到:训练 RE 模型时,代码会先剔除空文本行,并同步清理与之相关的 linking 边,避免无效实体干扰关系标注。

(2) 评估集

评估集的构建方式与训练集相同,标注文件同样包含上述 JSON 列表。

(3) 字典文件

训练集与评估集中每个文本行的 label 字段需要属于一个类别集合,该集合以字典文件(如 class_list.txt)存储,文件中每一行是一个类别名。例如 XFUND 中文数据(FUND_zh)包含四个类别:

OTHER
QUESTION
ANSWER
HEADER

注意标注中的 label 需与字典内容一致。关于类别映射,还有两条从源码可以印证的规则:

  • 类别大小写不敏感:load_vqa_bio_label_maps(见 ppocr/utils/utility.py)在解析时统一 line.upper() 处理,因此 HEADER 与 header 会被视为同一个类别 ID。
  • 建议把 other 类别放在字典第一行:解析时 other 类别(包括 OTHER/OTHERS/IGNORE)会被统一映射到 O 标签并解析为类别 ID 0,预测为 other 的文本行在后续可视化时不会展示。

字典文件到训练标签的转换逻辑如下(源码实现,见 load_vqa_bio_label_maps):字典 n 个类别中,other 类归并为 O,其余 n-1 个类别各自生成 B-类别 与 I-类别 两个 BIO 标签,因此总标签数 = 1 + 2×(n-1) = 2n-1。这与配置文件中的注释一致:num_classes 设置为 2n-1。以 XFUND 的 4 类字典为例,num_classes = 7(即 O、B-QUESTION、I-QUESTION、B-ANSWER、I-ANSWER、B-HEADER、I-HEADER)。

2.3 公开数据集下载与转换

若没有本地数据,可直接下载 XFUND 或 FUNSD 的源文件,然后使用仓库自带的转换脚本将其转为 PaddleOCR 格式:

更多公开 KIE 数据集说明,可参考 KIE 数据集教程。PaddleOCR 也支持 KIE 标注工具 PPOCRLabel,标注流程参见 PPOCRLabel 官方说明。

3. 模型训练

PaddleOCR 为 KIE 任务提供了训练、评估、推理三类脚本(tools/train.py、tools/eval.py、tools/infer_kie_token_ser.py 等),本节以 VI-LayoutXLM 模型为例逐一说明。

3.1 训练前准备

没有自定义数据集时,可先下载 PaddleOCR 处理好的 XFUND 中文数据快速体验:

mkdir train_data
cd train_data
wget https://paddleocr.bj.bcebos.com/ppstructure/dataset/XFUND.tar && tar -xf XFUND.tar
cd ..

如果不想训练,只想直接体验评估、预测与推理流程,可下载官方训练好的模型并跳过 3.2 节:

mkdir pretrained_model
cd pretrained_model
# 下载并解压 SER 模型
wget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/ser_vi_layoutxlm_xfund_pretrained.tar & tar -xf ser_vi_layoutxlm_xfund_pretrained.tar

# 下载并解压 RE 模型
wget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/re_vi_layoutxlm_xfund_pretrained.tar & tar -xf re_vi_layoutxlm_xfund_pretrained.tar

3.2 启动训练

启动训练前注意两点:

  • 若 PaddlePaddle 为 CPU 版本,需在配置文件中设置 Global.use_gpu=False;
  • 训练时 PaddleOCR 会默认自动下载 VI-LayoutXLM 预训练模型,无需提前手动下载。
# GPU 训练,支持单卡与多卡
# 训练日志保存在 "{Global.save_model_dir}/train.log"

# 单卡训练 SER 模型
python3 tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml

# 多卡训练 SER 模型,使用 --gpus 指定 GPU 编号
python3 -m paddle.distributed.launch --gpus '0,1,2,3'  tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml

# 单卡训练 RE 模型
python3 tools/train.py -c configs/kie/vi_layoutxlm/re_vi_layoutxlm_xfund_zh.yml

以 SER 训练为例,启动后可以看到如下日志:

[2022/08/08 16:28:28] ppocr INFO: epoch: [1/200], global_step: 10, lr: 0.000006, loss: 1.871535, avg_reader_cost: 0.28200 s, avg_batch_cost: 0.82318 s, avg_samples: 8.0, ips: 9.71838 samples/s, eta: 0:51:59
[2022/08/08 16:28:33] ppocr INFO: epoch: [1/200], global_step: 19, lr: 0.000018, loss: 1.461939, avg_reader_cost: 0.00042 s, avg_batch_cost: 0.32037 s, avg_samples: 6.9, ips: 21.53773 samples/s, eta: 0:37:55
[2022/08/08 16:28:39] ppocr INFO: cur metric, precision: 0.11526348939743859, recall: 0.19776657060518732, hmean: 0.14564265817747712, fps: 34.008392345050055
[2022/08/08 16:28:45] ppocr INFO: save best model is to ./output/ser_vi_layoutxlm_xfund_zh/best_accuracy
[2022/08/08 16:28:45] ppocr INFO: best metric, hmean: 0.14564265817747712, precision: 0.11526348939743859, recall: 0.19776657060518732, fps: 34.008392345050055, best_epoch: 1
[2022/08/08 16:28:51] ppocr INFO: save model in ./output/ser_vi_layoutxlm_xfund_zh/latest

日志中自动打印的字段含义:

字段 含义
epoch 当前迭代轮数
iter 当前迭代次数
lr 当前学习率
loss 当前损失函数值
reader_cost 当前 batch 数据读取处理耗时
batch_cost 当前 batch 总耗时
samples 当前 batch 的样本数
ips 每秒处理的样本数

PaddleOCR 支持训练过程中同步评估:可修改配置文件 configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml 中的 eval_batch_step(默认 [0, 19],即从第 0 次迭代起每 19 次迭代评估一次)。hmean 最优的模型会保存为 output/ser_vi_layoutxlm_xfund_zh/best_accuracy/。若评估数据集很大,建议调大评估间隔,或训练结束后再单独评估。

更多 KIE 模型与训练配置可进入 configs/kie/ 目录查看,或参考 前沿 KIE 算法总览。

在自有数据集上训练:修改配置文件

在自有数据集上训练时,需要修改配置文件中的数据路径、字典文件与类别数。以 configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml 为例,需要修改的核心内容如下:

Architecture:
  # ...
  Backbone:
    name: LayoutXLMForSer
    pretrained: True
    mode: vi
    # 假设字典文件包含 n 个类别(含 other),则 num_classes 设置为 2n-1
    num_classes: &num_classes 7

PostProcess:
  name: kieSerTokenLayoutLMPostProcess
  # 修改为自定义数据集的字典文件路径
  class_path: &class_path train_data/XFUND/class_list_xfun.txt

Train:
  dataset:
    name: SimpleDataSet
    # 修改为训练数据集路径
    data_dir: train_data/XFUND/zh_train/image
    # 修改为训练数据标注路径
    label_file_list:
      - train_data/XFUND/zh_train/train.json
    ...
  loader:
    # 单卡训练时的 batch size
    batch_size_per_card: 8
    ...

Eval:
  dataset:
    name: SimpleDataSet
    # 修改为评估数据集路径
    data_dir: train_data/XFUND/zh_val/image
    # 修改为评估数据标注路径
    label_file_list:
      - train_data/XFUND/zh_val/val.json
    ...
  loader:
    # 单卡评估时的 batch size
    batch_size_per_card: 8

注意:预测/评估所用的配置文件必须与训练时保持一致。

配置文件关键参数详解

除上述字段外,SER 配置文件(ser_vi_layoutxlm_xfund_zh.yml)中还有以下值得关注的参数,均可在训练时按需调整:

配置段 关键参数 说明
Global use_gpu: True 是否使用 GPU,CPU 环境需设为 False
Global epoch_num: 200 总训练轮数
Global print_batch_step: 10 每 10 个 batch 打印一次日志
Global save_model_dir: ./output/ser_vi_layoutxlm_xfund_zh 模型保存目录
Global save_epoch_step: 2000 每 2000 个 epoch 保存一次模型
Global eval_batch_step: [0, 19] 评估时机:从第 0 步起每 19 步评估
Global seed: 2022 随机种子
Global infer_img 默认预测图像路径(推理用)
Global d2s_train_image_shape: [3, 224, 224] 训练输入图像尺寸
Global amp_custom_white_list 混合精度训练自定义算子白名单
Architecture.Backbone name: LayoutXLMForSer SER 骨干网络任务头
Architecture.Backbone mode: vi 多语言预训练模式(base 或 vi)
Loss name: VQASerTokenLayoutLMLoss SER 损失,内部使用 CrossEntropyLoss(见 ppocr/losses/vqa_token_layoutlm_loss.py)
Optimizer name: AdamW,lr.learning_rate: 0.00005,warmup_epoch: 2 优化器与学习率(Linear 调度 + 2 轮 warmup)
Metric name: VQASerTokenMetric,main_indicator: hmean 评估指标,以 hmean 为主指标

数据变换(transforms)链是理解模型输入的关键,SER 训练/评估共用如下流水线(在 ppocr/data/imaug 下均有对应实现):

  • DecodeImage:读取图像(RGB、channel_first=False);
  • VQATokenLabelEncode:核心编码器(label_ops.py),负责用 LayoutXLM Tokenizer 将文本转为 input_ids/token_type_ids,将四点坐标转为 bbox,加载 BIO 标签映射;order_method: "tb-yx" 表示按"先上到下、再左到右"对文本行排序(代码中 assert self.order_method in [None, "tb-yx"]);
  • VQATokenPad:将序列 padding 到 max_seq_len: 512 并生成 attention_mask(vqa_token_pad.py);
  • VQASerTokenChunk:将超长序列切分为 512 长度的 chunk(vqa_token_chunk.py);
  • Resize/NormalizeImage/ToCHWImage:图像统一缩放到 224×224 并做 ImageNet 风格归一化(mean/std 见配置);
  • KeepKeys:保留 input_ids、bbox、attention_mask、token_type_ids、image、labels,DataLoader 按该顺序返回。

RE 配置的差异(re_vi_layoutxlm_xfund_zh.yml)主要体现在:骨干网络为 LayoutXLMForRe;损失为 LossFromOutput;VQATokenLabelEncode 中 contains_re: True;数据变换额外包含 VQAReTokenRelation(构建实体关系,见 vqa_token_relation.py)与 TensorizeEntitiesRelations(将实体与关系张量化,见 vqa_re_convert.py),KeepKeys 保留的是 entities 与 relations;训练 epoch_num: 130,batch_size_per_card: 2(RE 显存占用更大),优化器增加了 clip_norm: 10 梯度裁剪,warmup 为 10 轮。

3.3 恢复训练

若训练中断,可通过 Architecture.Backbone.checkpoints 指定要加载的模型路径来恢复训练:

python3 tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./output/ser_vi_layoutxlm_xfund_zh/best_accuracy

注意以下几点:

  • Architecture.Backbone.checkpoints 的优先级高于 Architecture.Backbone.pretrained。模型微调、恢复训练与评估都需要设置 Architecture.Backbone.checkpoints;若希望使用 NLP 预训练模型从头训练,则设置 Architecture.Backbone.pretrained=True 且 Architecture.Backbone.checkpoints=null。
  • LayoutXLM 系列使用 PaddleNLP 预训练模型,模型加载/保存逻辑与 PaddleNLP 一致,因此无需设置 Global.pretrained_model 或 Global.checkpoints。
  • 若使用知识蒸馏训练 LayoutXLM 系列模型,目前不支持恢复训练。

3.4 混合精度训练

原文标注 coming soon!——该小节为预留占位,混合精度训练的算子白名单(amp_custom_white_list)已在配置中预留,但完整文档尚未发布,请以仓库后续更新为准。

3.5 分布式训练

多机多卡训练时,使用 --ips 指定所用机器的 IP 地址,用 --gpus 指定 GPU 编号:

python3 -m paddle.distributed.launch --ips="xx.xx.xx.xx,xx.xx.xx.xx" --gpus '0,1,2,3' tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml

注意:(1)多机多卡训练时需将上述命令中的 ips 替换为你的机器地址,且各机器之间需要能够互相 ping 通;(2)需要在多台机器上分别启动训练,可用 ifconfig 查看本机 IP;(3)关于分布式训练加速比的更多细节,可参考仓库内的分布式训练教程。

3.6 知识蒸馏训练

PaddleOCR 支持在 KIE 训练过程中使用知识蒸馏(UDML),蒸馏配置文件为 ser_vi_layoutxlm_xfund_zh_udml.yml,详细原理可参考仓库中的知识蒸馏文档。

注意: LayoutXLM 系列 KIE 模型的保存/加载逻辑与 PaddleNLP 一致,蒸馏过程中只保存学生模型的参数。若要用蒸馏产物做评估,需使用学生模型的配置(上述蒸馏文件对应的学生配置即 ser_vi_layoutxlm_xfund_zh.yml)。

3.7 其他平台训练

  • Windows GPU/CPU:与 Linux 平台略有差异。Windows 仅支持单 GPU 训练与推理,用 set CUDA_VISIBLE_DEVICES=0 指定 GPU;Windows 上 DataLoader 仅支持单进程模式,需将 num_workers 设为 0。
  • macOS:不支持 GPU 模式,需在配置文件中将 use_gpu 设为 False,其余训练/评估/预测命令与 Linux GPU 完全一致。
  • Linux DCU:在 DCU 设备上运行需设置环境变量 export HIP_VISIBLE_DEVICES=0,1,2,3,其余训练/评估/预测命令与 Linux GPU 完全一致。

4. 评估与测试

4.1 模型评估

训练好的模型保存在 Global.save_model_dir 中。评估时需要将 Architecture.Backbone.checkpoints 指定为模型目录;评估数据集通过修改 ser_vi_layoutxlm_xfund_zh.yml 中的 Eval.dataset.label_file_list 设置。

# GPU 评估,Global.checkpoints 为待测试的权重
python3 tools/eval.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./output/ser_vi_layoutxlm_xfund_zh/best_accuracy

评估完成后会打印 precision、recall、hmean 等指标:

[2022/08/09 07:59:28] ppocr INFO: metric eval ***************
[2022/08/09 07:59:28] ppocr INFO: precision:0.697476609016161
[2022/08/09 07:59:28] ppocr INFO: recall:0.8861671469740634
[2022/08/09 07:59:28] ppocr INFO: hmean:0.7805806758686339
[2022/08/09 07:59:28] ppocr INFO: fps:17.367364606899105

hmean(即 F1 调和平均)由 Metric 配置段的 VQASerTokenMetric(ppocr/metrics/vqa_token_ser_metric.py)计算,是 SER 任务的主指标;RE 任务对应 VQAReTokenMetric(ppocr/metrics/vqa_token_re_metric.py)。

4.2 预测(Test)

使用 PaddleOCR 训练的模型,可通过下述脚本快速得到预测结果。默认预测图像路径存放在 Global.infer_img,训练权重通过 -o Global.checkpoints 指定。

根据配置中的 Global.save_model_dir 与 save_epoch_step 字段,训练结束后会保存如下文件:

output/ser_vi_layoutxlm_xfund_zh/
├── best_accuracy
       ├── metric.states
       ├── model_config.json
       ├── model_state.pdparams
├── best_accuracy.pdopt
├── config.yml
├── train.log
├── latest
       ├── metric.states
       ├── model_config.json
       ├── model_state.pdparams
├── latest.pdopt

其中 best_accuracy.* 是评估集上表现最好的模型,latest.* 是最后一个 epoch 的模型。

预测配置文件必须与训练文件一致。若使用 python3 tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml 完成训练,可用如下命令预测:

python3 tools/infer_kie_token_ser.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./output/ser_vi_layoutxlm_xfund_zh/best_accuracy Global.infer_img=./ppstructure/docs/kie/input/zh_val_42.jpg

输出图像会同时保存在 Global.save_res_path 中。

使用已有 OCR 结果进行预测: 默认预测时程序会加载 PP-OCRv3 的检测与识别模型对输入图像做 OCR。如果希望直接使用预先得到的 OCR 结果,可以将 Global.infer_img 指定为标注文件(其中包含图像路径与 OCR 信息),并设置 Global.infer_mode=False,表示此时不启用 OCR 推理引擎:

python3 tools/infer_kie_token_ser.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./output/ser_vi_layoutxlm_xfund_zh/best_accuracy Global.infer_img=./train_data/XFUND/zh_val/val.json Global.infer_mode=False

使用标注 OCR 结果做信息抽取时,部分检测信息会更准确,但整体抽取结果与端到端推理基本一致。

RE 模型预测: RE 预测需要先给出 SER 结果,因此要同时加载 SER 的配置文件与模型权重,示例如下:

python3 ./tools/infer_kie_token_ser_re.py \
  -c configs/kie/vi_layoutxlm/re_vi_layoutxlm_xfund_zh.yml \
  -o Architecture.Backbone.checkpoints=./pretrain_models/re_vi_layoutxlm_udml_xfund_zh/best_accuracy/ \
  Global.infer_img=./train_data/XFUND/zh_val/image/ \
  -c_ser configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml \
  -o_ser Architecture.Backbone.checkpoints=pretrain_models/ \
  ser_vi_layoutxlm_udml_xfund_zh/best_accuracy/

-c_ser 表示 SER 的配置文件,-o_ser 表示覆盖 SER 配置文件中的对应内容。同样地,RE 预测也支持直接使用预先得到的 OCR 结果:

python3 ./tools/infer_kie_token_ser_re.py \
  -c configs/kie/vi_layoutxlm/re_vi_layoutxlm_xfund_zh.yml \
  -o Architecture.Backbone.checkpoints=./pretrain_models/re_vi_layoutxlm_udml_xfund_zh/best_accuracy/ \
  Global.infer_img=./train_data/XFUND/zh_val/val.json \
  Global.infer_mode=False \
  -c_ser configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml \
  -o_ser Architecture.Backbone.checkpoints=pretrain_models/ser_vi_layoutxlm_udml_xfund_zh/best_accuracy/

可以看到,直接使用标注 OCR 结果的 RE 预测结果通常更准确。

5. 模型推理部署

5.1 导出推理模型

训练过程中保存的是 checkpoints 模型(仅保存模型参数,主要用于恢复训练);而推理模型是训练完成后通过 paddle.jit.save 固化的模型,额外保存了模型结构信息,结构与参数均已固化,更适合部署与系统集成。

使用如下命令将 SER 模型转换为推理模型:

# -c 设置训练算法的 yml 配置文件
# -o 设置可选参数
# Architecture.Backbone.checkpoints 设置训练模型地址
# Global.save_inference_dir 设置转换后模型的保存地址
python3 tools/export_model.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./output/ser_vi_layoutxlm_xfund_zh/best_accuracy Global.save_inference_dir=./inference/ser_vi_layoutxlm

转换成功后,模型保存目录中会生成三个文件:

inference/ser_vi_layoutxlm/
    ├── inference.pdiparams         # 识别推理模型的参数文件
    ├── inference.pdiparams.info    # 识别推理模型的参数信息(可忽略)
    └── inference.pdmodel           # 识别的程序文件

RE 模型的导出命令同理:

python3 tools/export_model.py -c configs/kie/vi_layoutxlm/re_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./output/re_vi_layoutxlm_xfund_zh/best_accuracy Global.save_inference_dir=./inference/re_vi_layoutxlm

导出后同样生成 inference.pdiparams、inference.pdiparams.info、inference.pdmodel 三个文件。

5.2 基于推理模型的预测

VI-LayoutXLM 基于 SER 任务进行推理,执行如下命令:

cd ppstructure
python3 kie/predict_kie_token_ser.py \
  --kie_algorithm=LayoutXLM \
  --ser_model_dir=../inference/ser_vi_layoutxlm \
  --image_dir=./docs/kie/input/zh_val_42.jpg \
  --ser_dict_path=../train_data/XFUND/class_list_xfun.txt \
  --vis_font_path=../doc/fonts/simfang.ttf \
  --ocr_order_method="tb-yx"

可视化结果保存在 ./output 目录下。

VI-LayoutXLM 基于 RE 任务推理时,需要同时加载 RE 与 SER 的推理模型:

cd ppstructure
python3 kie/predict_kie_token_ser_re.py \
  --kie_algorithm=LayoutXLM \
  --re_model_dir=../inference/re_vi_layoutxlm \
  --ser_model_dir=../inference/ser_vi_layoutxlm \
  --use_visual_backbone=False \
  --image_dir=./docs/kie/input/zh_val_42.jpg \
  --ser_dict_path=../train_data/XFUND/class_list_xfun.txt \
  --vis_font_path=../doc/fonts/simfang.ttf \
  --ocr_order_method="tb-yx"

可视化结果同样保存在 ./output 目录下。

从推理脚本源码看(ppstructure/kie/predict_kie_token_ser.py),SerPredictor 内部会实例化一个 PaddleOCR 引擎(use_angle_cls、det_model_dir、rec_model_dir 均来自命令行参数),推理时按与训练一致的流水线处理输入:VQATokenLabelEncode(max_seq_len=512、order_method 取自 --ocr_order_method)→ VQATokenPad → VQASerTokenChunk → Resize(224,224) → NormalizeImage → ToCHWImage → KeepKeys;后处理使用 VQASerTokenLayoutLMPostProcess 并结合 segment_offset_ids 与 ocr_info 还原出每个 token 的类别。RE 推理(predict_kie_token_ser_re.py)则先复用 SER 引擎得到实体,再经 make_input 组装 entities 输入给 RE 模型,--use_visual_backbone=False 时移除视觉分支输入(对应代码中 re_input.pop(4)),最终用 VQAReTokenLayoutLMPostProcess 还原关系结果。两个脚本都会在输出目录生成 infer.txt(图像路径 + JSON 形式的 ocr_info)以及可视化结果图。

6. 常见问题(FAQ)

Q1:训练模型转成推理模型后,预测效果不一致?

A: 问题大多出在"训练模型预测时的预处理/后处理参数"与"推理模型预测时的预处理/后处理参数"不一致。可以对比训练所用配置文件与推理阶段的预处理、后处理与预测参数是否存在差异(例如输入尺寸、归一化 mean/std、max_seq_len、order_method 等),确保两者完全一致。同理,预测/评估所用配置文件必须与训练文件保持一致,这是避免该问题的最直接手段。

登录后查看全文
PaddleOCR