PaddleOCR NRTR 算法全解析:无循环 Seq2Seq 场景文本识别模型的原理、配置与训练推理实战

原创2026-09-17 17:55:111,990 阅读
文章标签:OCR计算机视觉图像处理深度学习人工智能AI 技能MCP 服务CLI

PaddleOCR NRTR 算法全解析:无循环 Seq2Seq 场景文本识别模型的原理、配置与训练推理实战

导读

NRTR(No-Recurrence Sequence-to-Sequence Model)是 PaddleOCR 中内置的一种基于纯注意力(Transformer)架构的场景文本识别算法,它彻底摒弃了循环神经网络(RNN/LSTM),用自注意力与交叉注意力完成"图像特征序列 → 字符序列"的端到端建模。本文以 算法文档 为主线,结合 NRTR 训练配置 与 识别头源码、MTB 骨干网络源码 等仓库实现,完整讲解 NRTR 的算法结构、复现精度、配置文件逐项含义,以及训练、评估、预测、模型导出与 Python 推理的完整实战流程。读完本文,你将掌握如何在 PaddleOCR 中通过修改配置文件即可复现、微调并部署一个 NRTR 文本识别模型。


1. 算法简介与复现精度

1.1 论文与核心思想

NRTR 出自论文 NRTR: A No-Recurrence Sequence-to-Sequence Model For Scene Text Recognition(Fenfen Sheng、Zhineng Chen、Bo Xu,发表于 ICDAR 2019)。其核心贡献在于:

  • 去循环化:模型结构完全基于注意力机制(Transformer),在编码器与解码器中都不使用任何循环结构,从而支持更好的并行计算;
  • 端到端建模:将文本识别视为"图像特征序列 → 字符序列"的序列到序列(Seq2Seq)翻译任务,编码器从图像中提取特征,解码器逐字符自回归地生成识别结果;
  • 长文本建模能力:相比纯 CTC 方案,注意力解码机制天然适合捕捉字符间的长距离依赖。

1.2 PaddleOCR 复现精度

官方使用 MJSynth 与 SynthText 两个合成文本识别数据集进行训练,并在 IIIT、SVT、IC03、IC13、IC15、SVTP、CUTE 等公开基准数据集上评估,复现效果如下:

Model Backbone Config Acc 训练权重
NRTR MTB rec_mtb_nrtr.yml 84.21% 官方提供 rec_mtb_nrtr_train 预训练权重(对应文档表格中的下载链接)

表格中的精度为英文文本识别基准上的复现结果,训练配置与词典均来自 rec_mtb_nrtr.yml 与 EN_symbol_dict.txt。

1.3 从源码看整体结构

从仓库源码可以清晰地还原 NRTR 的三段式结构,其模块组装由配置文件中的 Architecture 字段驱动(见 configs/rec/rec_mtb_nrtr.yml):

  1. Backbone:MTB(rec_nrtr_mtb.py):当 cnn_num=2 时,堆叠两层 Conv2D(3x3, stride=2) + ReLU + BatchNorm2D,输出通道分别为 32 与 64;随后将特征图转置并 reshape 成 (B, W, H*C) 的序列形式,即把二维图像特征压平为视觉 token 序列,供 Transformer 编码器消费;
  2. Head:Transformer(rec_nrtr_head.py):由 Embeddings + PositionalEncoding、6 层仅含自注意力的编码器块(TransformerBlock,with_self_attn=True, with_cross_attn=False)以及 6 层同时含自注意力和交叉注意力的解码器块组成,最后通过 tgt_word_prj 线性层输出每个位置的字符概率分布;
  3. PostProcess:NRTRLabelDecode(rec_postprocess.py):负责把解码器输出的 token 序列映射回字符文本,并过滤掉 <unk>、</s> 等特殊符号。

在训练/评估/预测入口(如 tools/train.py、tools/eval.py、tools/infer_rec.py)中,当检测到 PostProcess.name == "NRTRLabelDecode" 时,会以 char_num + 3 计算识别头输出通道数(3 个额外通道对应 blank、<unk>、<s>、</s> 中的前三个特殊 token),从而自动对齐词典大小与模型输出维度。


2. 环境准备与项目获取

本文涉及的训练、评估、推理命令均基于 PaddleOCR 仓库本体执行。请按以下两步完成环境搭建:

  1. 环境准备:参考 环境准备指南 安装 PaddlePaddle 与 PaddleOCR 依赖,配置 Python 环境;
  2. 项目克隆:参考 项目克隆指南 获取仓库代码。

提示:本文所有命令默认在仓库根目录执行,且以 Linux/macOS 环境为例。


3. 配置文件逐项解读

PaddleOCR 将代码模块化,训练不同的识别模型只需要更换配置文件。NRTR 的完整配置位于 configs/rec/rec_mtb_nrtr.yml,下面逐段说明。

3.1 Global(全局参数)

Global:
  use_gpu: True
  epoch_num: 21
  log_smooth_window: 20
  print_batch_step: 10
  save_model_dir: ./output/rec/nrtr/
  save_epoch_step: 1
  # evaluation is run every 2000 iterations
  eval_batch_step: [0, 2000]
  cal_metric_during_train: True
  pretrained_model:
  checkpoints:
  save_inference_dir:
  use_visualdl: False
  infer_img: doc/imgs_words_en/word_10.png
  # for data or label process
  character_dict_path: ppocr/utils/EN_symbol_dict.txt
  max_text_length: 25
  infer_mode: False
  use_space_char: False
  save_res_path: ./output/rec/predicts_nrtr.txt

关键参数说明:

  • epoch_num:训练总轮数,NRTR 默认训练 21 个 epoch;
  • save_model_dir / save_epoch_step:模型保存目录与每隔多少 epoch 保存一次;
  • eval_batch_step: [0, 2000]:从第 0 个 iteration 开始,每 2000 个 iteration 执行一次评估;
  • character_dict_path:字符字典路径,NRTR 默认使用 EN_symbol_dict.txt;若在自有数据集上训练并修改了字典文件,此处必须同步修改;
  • max_text_length: 25:最大文本长度。结合 NRTRLabelEncode 的源码,标签长度达到 max_text_len - 1 的样本会被丢弃,因此实际可编码文本长度为 24;
  • use_space_char: False:NRTR 训练中不额外启用空格字符;
  • infer_img:默认推理示例图路径(仓库中实际对应的文件位于 docs/version2.x/algorithm/text_recognition/images/word_10.png,推理时会自动解析)。

3.2 Optimizer(优化器)

Optimizer:
  name: Adam
  beta1: 0.9
  beta2: 0.99
  clip_norm: 5.0
  lr:
    name: Cosine
    learning_rate: 0.0005
    warmup_epoch: 2
  regularizer:
    name: 'L2'
    factor: 0.
  • 采用 Adam 优化器(beta1=0.9, beta2=0.99),并设置梯度裁剪 clip_norm=5.0,防止注意力解码训练时梯度爆炸;
  • 学习率使用 Cosine 余弦退火策略,初始学习率 0.0005,并设置 2 个 epoch 的 warmup。

3.3 Architecture(网络结构)

Architecture:
  model_type: rec
  algorithm: NRTR
  in_channels: 1
  Transform:
  Backbone:
    name: MTB
    cnn_num: 2
  Head:
    name: Transformer
    d_model: 512
    num_encoder_layers: 6
    beam_size: -1 # When Beam size is greater than 0, it means to use beam search when evaluation.
  • in_channels: 1:NRTR 输入为灰度单通道图像,这与 tools/infer/predict_rec.py 中 NRTR 分支先将图像转灰度(cv2.cvtColor(img, cv2.COLOR_BGR2GRAY))的处理一一对应;
  • Backbone.name: MTB、cnn_num: 2:使用 rec_nrtr_mtb.py 中的两层卷积骨干;
  • Head.name: Transformer、d_model: 512、num_encoder_layers: 6:解码器层数与 num_decoder_layers 在 rec_nrtr_head.py 中默认同为 6,dim_feedforward=1024;
  • beam_size: -1:关键参数。大于 0 时评估阶段使用 Beam Search 解码,等于 -1(默认)时使用贪心(Greedy)解码。由于 Beam Search 速度较慢,仓库默认关闭,详见本文第 7 节 FAQ。

3.4 Loss / PostProcess / Metric

Loss:
  name: CELoss
  smoothing: True

PostProcess:
  name: NRTRLabelDecode

Metric:
  name: RecMetric
  main_indicator: acc
  • 损失函数为带标签平滑(label smoothing)的交叉熵损失 CELoss,配合解码器的逐 token 概率输出;
  • 后处理为 NRTRLabelDecode:其 add_special_char 在词典头部追加 ["blank", "<unk>", "<s>", "</s>"] 四个特殊 token;解码时以 <s>(索引 2)为起始符、</s>(索引 3)为结束符,遇到 </s> 即停止;
  • 评估指标为 RecMetric,主指标为 acc。

3.5 Train / Eval 数据集

Train:
  dataset:
    name: LMDBDataSet
    data_dir: ./train_data/data_lmdb_release/training/
    transforms:
      - DecodeImage: # load image
          img_mode: BGR
          channel_first: False
      - NRTRLabelEncode: # Class handling label
      - GrayRecResizeImg:
          image_shape: [100, 32] # W H
          resize_type: PIL # PIL or OpenCV
      - KeepKeys:
          keep_keys: ['image', 'label', 'length'] # dataloader will return list in this order
  loader:
    shuffle: True
    batch_size_per_card: 512
    drop_last: True
    num_workers: 8

Eval:
  dataset:
    name: LMDBDataSet
    data_dir: ./train_data/data_lmdb_release/evaluation/
    transforms:
      - DecodeImage: # load image
          img_mode: BGR
          channel_first: False
      - NRTRLabelEncode: # Class handling label
      - GrayRecResizeImg:
          image_shape: [100, 32] # W H
          resize_type: PIL # PIL or OpenCV
      - KeepKeys:
          keep_keys: ['image', 'label', 'length'] # dataloader will return list in this order
  loader:
    shuffle: False
    drop_last: False
    batch_size_per_card: 256
    num_workers: 4
    use_shared_memory: False

数据侧有两个 NRTR 专属要点:

  • LMDB 数据格式:默认使用 LMDBDataSet,训练数据目录为 ./train_data/data_lmdb_release/training/,评估目录为 ./train_data/data_lmdb_release/evaluation/(即论文复现使用的合成数据集 LMDB 格式)。数据集组织方式可参考 文本识别训练教程 中的"数据准备"章节;
  • NRTRLabelEncode(label_ops.py):编码时会在真实标签前插入 <s>(索引 2)、后追加 </s>(索引 3),并填充 blank(索引 0)到 max_text_length;训练阶段解码器输入取 tgt[:, :-1](去掉末尾填充),监督信号为完整标签序列;
  • GrayRecResizeImg:灰度化并统一缩放到 (100, 32)(W×H),使用 PIL 插值,与推理侧 --rec_image_shape='1,32,100' 的通道-高-宽顺序保持一致。

4. 模型训练

数据准备完成后即可启动训练。训练入口为 tools/train.py,只需通过 -c 指定 NRTR 配置文件:

# 单卡训练(训练周期较长,不推荐)
python3 tools/train.py -c configs/rec/rec_mtb_nrtr.yml

# 多卡训练,通过 --gpus 指定使用的 GPU 编号
python3 -m paddle.distributed.launch --gpus '0,1,2,3'  tools/train.py -c configs/rec/rec_mtb_nrtr.yml

从源码看,tools/train.py 在启动时会依据 PostProcess.name == "NRTRLabelDecode" 将识别头输出通道数设置为 char_num + 3,保证词典(含特殊 token)与模型输出维度严格对齐,这也是"换配置即换模型"机制的关键一环。


5. 模型评估

训练完成后,使用 tools/eval.py 在评估集上计算精度:

# GPU 评估
python3 -m paddle.distributed.launch --gpus '0' tools/eval.py -c configs/rec/rec_mtb_nrtr.yml -o Global.pretrained_model={path/to/weights}/best_accuracy
  • Global.pretrained_model 指向训练过程中保存的最佳权重(通常命名为 best_accuracy);
  • 评估同样走 NRTRLabelDecode 后处理链路,指标由 Metric: RecMetric 计算,主指标为 acc;
  • 若将配置中 Architecture.Head.beam_size 设为大于 0,评估时将切换到 Beam Search 解码(精度可能更高但速度更慢)。

6. 预测与推理部署

6.1 单图预测(训练阶段)

预测所用配置文件必须与训练一致:

# The configuration file used for prediction must match the training
python3 tools/infer_rec.py -c configs/rec/rec_mtb_nrtr.yml -o Global.infer_img='./doc/imgs_words_en/word_10.png' Global.pretrained_model=./rec_mtb_nrtr_train/best_accuracy

6.2 模型导出

首先把训练阶段保存的模型转换为推理模型。可先下载官方预训练权重 rec_mtb_nrtr_train(对应 rec_mtb_nrtr.yml 复现表),再执行导出:

python3 tools/export_model.py -c configs/rec/rec_mtb_nrtr.yml -o Global.pretrained_model=./rec_mtb_nrtr_train/best_accuracy  Global.save_inference_dir=./inference/rec_mtb_nrtr

注意事项(来自官方文档):

  • 若在自有数据集上训练并修改了字典文件,务必同步修改配置文件中的 character_dict_path,使其指向修改后的字典;
  • 若在训练时修改了输入尺寸,请同步修改 tools/export_model.py 中与 NRTR 对应的 infer_shape。

导出成功后,save_inference_dir 目录下应包含三个文件:

/inference/rec_mtb_nrtr/
    ├── inference.pdiparams
    ├── inference.pdiparams.info
    └── inference.pdmodel

6.3 Python 推理

使用 tools/infer/predict_rec.py 对 NRTR 推理模型进行预测:

python3 tools/infer/predict_rec.py --image_dir='./doc/imgs_words_en/word_10.png' --rec_model_dir='./inference/rec_mtb_nrtr/' --rec_algorithm='NRTR' --rec_image_shape='1,32,100' --rec_char_dict_path='./ppocr/utils/EN_symbol_dict.txt'

NRTR 推理示例单词图 word_10.png

执行上述命令后,屏幕会打印上图(word_10.png)的识别文本与置信度,示例如下:

Predicts of ./doc/imgs_words_en/word_10.png:('pain', 0.9465042352676392)

推理侧与训练侧的对应关系(源码印证):

  • --rec_image_shape='1,32,100' 与配置中 GrayRecResizeImg.image_shape: [100, 32] 一致(通道 1 / 高 32 / 宽 100);
  • predict_rec.py 中 NRTR 分支会将图像转为灰度,用 Image.Resampling.LANCZOS 缩放到 (100, 32),再执行 img / 128.0 - 1.0 归一化,与训练侧 GrayRecResizeImg 的预处理流程保持一致;
  • 推理必须指定 --rec_algorithm='NRTR',以便程序装配 NRTRLabelDecode 后处理(predict_rec.py)。

6.4 C++ 推理 / Serving / 其他部署方式

依据官方算法文档的说明,当前版本对 NRTR 的支持情况为:

  • C++ 推理:不支持(Not supported);
  • Paddle Serving 服务化部署:不支持(Not supported);
  • 其他更多部署形态:不支持(Not supported)。

即 NRTR 目前主要通过 Python 推理方式部署(tools/infer/predict_rec.py),在选用部署方案时需注意这一限制。


7. FAQ 与踩坑指南

  1. 为什么默认不使用 Beam Search?

    NRTR 论文中使用 Beam Search 解码字符以获得更高精度,但其速度较慢。PaddleOCR 默认使用贪心(Greedy)解码,通过 配置项 Architecture.Head.beam_size: -1 控制;当 beam_size > 0 时才在评估阶段启用 Beam Search。对应地,rec_nrtr_head.py 中的 forward 方法会根据 beam_size 是否大于 0 在 forward_beam 与 forward_test(贪心自回归解码)之间切换。

  2. 词典与特殊 token 的关系是什么?

    NRTRLabelDecode.add_special_char 会在词典头部追加 blank(0)、<unk>(1)、<s>(2)、</s>(3) 四个 token;编码时标签以 <s> 开头、</s> 结尾(见 NRTRLabelEncode),解码遇到 </s> 即终止。这也是入口代码中输出通道数取 char_num + 3 的原因。

  3. 如何处理长文本样本?

    Global.max_text_length: 25 与 NRTRLabelEncode 中的长度检查配合生效:长度达到 max_text_len - 1 的样本会被丢弃;训练时解码器输入会去掉最后一个 token(tgt[:, :-1])。如需支持更长文本,可调大 max_text_length 并同步调整输入图像宽度。


8. 版本升级说明(2.6 Release Note)

release/2.6 版本重构了 NRTR 代码结构:

  1. 新版本可加载旧版本权重:新代码结构能够加载 release/2.5 及更早版本的模型参数。官方提供了旧版权重到新版权重的转换脚本(原文以 <details> 折叠展开),其核心逻辑是把旧版编码器/解码器中 self_attn 的 conv1/conv2/conv3(分别对应 Q、K、V)权重 transpose 后按最后一维拼接为 qkv 权重,把 norm3 映射为新版 norm2、mlp.fc 映射为 conv 等,最后通过 model.set_state_dict(new_state_dict) 加载并重新保存为 nrtrnew_from_old_params.pdparams;
  2. 代码更干净、推理更快:新版相比旧版代码结构更清晰,同时推理速度得到提升。

若你持有旧版本(release/2.5 及之前)的 NRTR 权重,可参照上述转换思路(对应新版 rec_nrtr_head.py 中的参数命名)完成迁移后再进行训练或导出。


9. 引用

如果你在学术工作中使用了 NRTR 算法,建议引用原论文:

@article{Sheng2019NRTR,
  title     = {NRTR: A No-Recurrence Sequence-to-Sequence Model For Scene Text Recognition},
  author    = {Fenfen Sheng and Zhineng Chen and Bo Xu},
  booktitle = {ICDAR},
  year      = {2019},
  url       = {http://arxiv.org/abs/1806.00926},
  pages     = {781-786}
}

延伸阅读

登录后查看全文
PaddleOCR