PaddleOCR NRTR 算法全解析:无循环 Seq2Seq 场景文本识别模型的原理、配置与训练推理实战
PaddleOCR NRTR 算法全解析:无循环 Seq2Seq 场景文本识别模型的原理、配置与训练推理实战
导读
NRTR(No-Recurrence Sequence-to-Sequence Model)是 PaddleOCR 中内置的一种基于纯注意力(Transformer)架构的场景文本识别算法,它彻底摒弃了循环神经网络(RNN/LSTM),用自注意力与交叉注意力完成"图像特征序列 → 字符序列"的端到端建模。本文以 算法文档 为主线,结合 NRTR 训练配置 与 识别头源码、MTB 骨干网络源码 等仓库实现,完整讲解 NRTR 的算法结构、复现精度、配置文件逐项含义,以及训练、评估、预测、模型导出与 Python 推理的完整实战流程。读完本文,你将掌握如何在 PaddleOCR 中通过修改配置文件即可复现、微调并部署一个 NRTR 文本识别模型。
1. 算法简介与复现精度
1.1 论文与核心思想
NRTR 出自论文 NRTR: A No-Recurrence Sequence-to-Sequence Model For Scene Text Recognition(Fenfen Sheng、Zhineng Chen、Bo Xu,发表于 ICDAR 2019)。其核心贡献在于:
- 去循环化:模型结构完全基于注意力机制(Transformer),在编码器与解码器中都不使用任何循环结构,从而支持更好的并行计算;
- 端到端建模:将文本识别视为"图像特征序列 → 字符序列"的序列到序列(Seq2Seq)翻译任务,编码器从图像中提取特征,解码器逐字符自回归地生成识别结果;
- 长文本建模能力:相比纯 CTC 方案,注意力解码机制天然适合捕捉字符间的长距离依赖。
1.2 PaddleOCR 复现精度
官方使用 MJSynth 与 SynthText 两个合成文本识别数据集进行训练,并在 IIIT、SVT、IC03、IC13、IC15、SVTP、CUTE 等公开基准数据集上评估,复现效果如下:
| Model | Backbone | Config | Acc | 训练权重 |
|---|---|---|---|---|
| NRTR | MTB | rec_mtb_nrtr.yml | 84.21% | 官方提供 rec_mtb_nrtr_train 预训练权重(对应文档表格中的下载链接) |
表格中的精度为英文文本识别基准上的复现结果,训练配置与词典均来自 rec_mtb_nrtr.yml 与 EN_symbol_dict.txt。
1.3 从源码看整体结构
从仓库源码可以清晰地还原 NRTR 的三段式结构,其模块组装由配置文件中的 Architecture 字段驱动(见 configs/rec/rec_mtb_nrtr.yml):
- Backbone:MTB(rec_nrtr_mtb.py):当
cnn_num=2时,堆叠两层Conv2D(3x3, stride=2) + ReLU + BatchNorm2D,输出通道分别为 32 与 64;随后将特征图转置并 reshape 成(B, W, H*C)的序列形式,即把二维图像特征压平为视觉 token 序列,供 Transformer 编码器消费; - Head:Transformer(rec_nrtr_head.py):由
Embeddings + PositionalEncoding、6 层仅含自注意力的编码器块(TransformerBlock,with_self_attn=True, with_cross_attn=False)以及 6 层同时含自注意力和交叉注意力的解码器块组成,最后通过tgt_word_prj线性层输出每个位置的字符概率分布; - PostProcess:NRTRLabelDecode(rec_postprocess.py):负责把解码器输出的 token 序列映射回字符文本,并过滤掉
<unk>、</s>等特殊符号。
在训练/评估/预测入口(如 tools/train.py、tools/eval.py、tools/infer_rec.py)中,当检测到 PostProcess.name == "NRTRLabelDecode" 时,会以 char_num + 3 计算识别头输出通道数(3 个额外通道对应 blank、<unk>、<s>、</s> 中的前三个特殊 token),从而自动对齐词典大小与模型输出维度。
2. 环境准备与项目获取
本文涉及的训练、评估、推理命令均基于 PaddleOCR 仓库本体执行。请按以下两步完成环境搭建:
提示:本文所有命令默认在仓库根目录执行,且以 Linux/macOS 环境为例。
3. 配置文件逐项解读
PaddleOCR 将代码模块化,训练不同的识别模型只需要更换配置文件。NRTR 的完整配置位于 configs/rec/rec_mtb_nrtr.yml,下面逐段说明。
3.1 Global(全局参数)
Global:
use_gpu: True
epoch_num: 21
log_smooth_window: 20
print_batch_step: 10
save_model_dir: ./output/rec/nrtr/
save_epoch_step: 1
# evaluation is run every 2000 iterations
eval_batch_step: [0, 2000]
cal_metric_during_train: True
pretrained_model:
checkpoints:
save_inference_dir:
use_visualdl: False
infer_img: doc/imgs_words_en/word_10.png
# for data or label process
character_dict_path: ppocr/utils/EN_symbol_dict.txt
max_text_length: 25
infer_mode: False
use_space_char: False
save_res_path: ./output/rec/predicts_nrtr.txt
关键参数说明:
epoch_num:训练总轮数,NRTR 默认训练 21 个 epoch;save_model_dir/save_epoch_step:模型保存目录与每隔多少 epoch 保存一次;eval_batch_step: [0, 2000]:从第 0 个 iteration 开始,每 2000 个 iteration 执行一次评估;character_dict_path:字符字典路径,NRTR 默认使用 EN_symbol_dict.txt;若在自有数据集上训练并修改了字典文件,此处必须同步修改;max_text_length: 25:最大文本长度。结合 NRTRLabelEncode 的源码,标签长度达到max_text_len - 1的样本会被丢弃,因此实际可编码文本长度为 24;use_space_char: False:NRTR 训练中不额外启用空格字符;infer_img:默认推理示例图路径(仓库中实际对应的文件位于docs/version2.x/algorithm/text_recognition/images/word_10.png,推理时会自动解析)。
3.2 Optimizer(优化器)
Optimizer:
name: Adam
beta1: 0.9
beta2: 0.99
clip_norm: 5.0
lr:
name: Cosine
learning_rate: 0.0005
warmup_epoch: 2
regularizer:
name: 'L2'
factor: 0.
- 采用 Adam 优化器(
beta1=0.9, beta2=0.99),并设置梯度裁剪clip_norm=5.0,防止注意力解码训练时梯度爆炸; - 学习率使用 Cosine 余弦退火策略,初始学习率
0.0005,并设置 2 个 epoch 的 warmup。
3.3 Architecture(网络结构)
Architecture:
model_type: rec
algorithm: NRTR
in_channels: 1
Transform:
Backbone:
name: MTB
cnn_num: 2
Head:
name: Transformer
d_model: 512
num_encoder_layers: 6
beam_size: -1 # When Beam size is greater than 0, it means to use beam search when evaluation.
in_channels: 1:NRTR 输入为灰度单通道图像,这与 tools/infer/predict_rec.py 中 NRTR 分支先将图像转灰度(cv2.cvtColor(img, cv2.COLOR_BGR2GRAY))的处理一一对应;Backbone.name: MTB、cnn_num: 2:使用 rec_nrtr_mtb.py 中的两层卷积骨干;Head.name: Transformer、d_model: 512、num_encoder_layers: 6:解码器层数与num_decoder_layers在 rec_nrtr_head.py 中默认同为 6,dim_feedforward=1024;beam_size: -1:关键参数。大于 0 时评估阶段使用 Beam Search 解码,等于 -1(默认)时使用贪心(Greedy)解码。由于 Beam Search 速度较慢,仓库默认关闭,详见本文第 7 节 FAQ。
3.4 Loss / PostProcess / Metric
Loss:
name: CELoss
smoothing: True
PostProcess:
name: NRTRLabelDecode
Metric:
name: RecMetric
main_indicator: acc
- 损失函数为带标签平滑(label smoothing)的交叉熵损失
CELoss,配合解码器的逐 token 概率输出; - 后处理为 NRTRLabelDecode:其
add_special_char在词典头部追加["blank", "<unk>", "<s>", "</s>"]四个特殊 token;解码时以<s>(索引 2)为起始符、</s>(索引 3)为结束符,遇到</s>即停止; - 评估指标为
RecMetric,主指标为acc。
3.5 Train / Eval 数据集
Train:
dataset:
name: LMDBDataSet
data_dir: ./train_data/data_lmdb_release/training/
transforms:
- DecodeImage: # load image
img_mode: BGR
channel_first: False
- NRTRLabelEncode: # Class handling label
- GrayRecResizeImg:
image_shape: [100, 32] # W H
resize_type: PIL # PIL or OpenCV
- KeepKeys:
keep_keys: ['image', 'label', 'length'] # dataloader will return list in this order
loader:
shuffle: True
batch_size_per_card: 512
drop_last: True
num_workers: 8
Eval:
dataset:
name: LMDBDataSet
data_dir: ./train_data/data_lmdb_release/evaluation/
transforms:
- DecodeImage: # load image
img_mode: BGR
channel_first: False
- NRTRLabelEncode: # Class handling label
- GrayRecResizeImg:
image_shape: [100, 32] # W H
resize_type: PIL # PIL or OpenCV
- KeepKeys:
keep_keys: ['image', 'label', 'length'] # dataloader will return list in this order
loader:
shuffle: False
drop_last: False
batch_size_per_card: 256
num_workers: 4
use_shared_memory: False
数据侧有两个 NRTR 专属要点:
- LMDB 数据格式:默认使用
LMDBDataSet,训练数据目录为./train_data/data_lmdb_release/training/,评估目录为./train_data/data_lmdb_release/evaluation/(即论文复现使用的合成数据集 LMDB 格式)。数据集组织方式可参考 文本识别训练教程 中的"数据准备"章节; - NRTRLabelEncode(label_ops.py):编码时会在真实标签前插入
<s>(索引 2)、后追加</s>(索引 3),并填充blank(索引 0)到max_text_length;训练阶段解码器输入取tgt[:, :-1](去掉末尾填充),监督信号为完整标签序列; - GrayRecResizeImg:灰度化并统一缩放到
(100, 32)(W×H),使用 PIL 插值,与推理侧--rec_image_shape='1,32,100'的通道-高-宽顺序保持一致。
4. 模型训练
数据准备完成后即可启动训练。训练入口为 tools/train.py,只需通过 -c 指定 NRTR 配置文件:
# 单卡训练(训练周期较长,不推荐)
python3 tools/train.py -c configs/rec/rec_mtb_nrtr.yml
# 多卡训练,通过 --gpus 指定使用的 GPU 编号
python3 -m paddle.distributed.launch --gpus '0,1,2,3' tools/train.py -c configs/rec/rec_mtb_nrtr.yml
从源码看,tools/train.py 在启动时会依据 PostProcess.name == "NRTRLabelDecode" 将识别头输出通道数设置为 char_num + 3,保证词典(含特殊 token)与模型输出维度严格对齐,这也是"换配置即换模型"机制的关键一环。
5. 模型评估
训练完成后,使用 tools/eval.py 在评估集上计算精度:
# GPU 评估
python3 -m paddle.distributed.launch --gpus '0' tools/eval.py -c configs/rec/rec_mtb_nrtr.yml -o Global.pretrained_model={path/to/weights}/best_accuracy
Global.pretrained_model指向训练过程中保存的最佳权重(通常命名为best_accuracy);- 评估同样走
NRTRLabelDecode后处理链路,指标由 Metric: RecMetric 计算,主指标为acc; - 若将配置中
Architecture.Head.beam_size设为大于 0,评估时将切换到 Beam Search 解码(精度可能更高但速度更慢)。
6. 预测与推理部署
6.1 单图预测(训练阶段)
预测所用配置文件必须与训练一致:
# The configuration file used for prediction must match the training
python3 tools/infer_rec.py -c configs/rec/rec_mtb_nrtr.yml -o Global.infer_img='./doc/imgs_words_en/word_10.png' Global.pretrained_model=./rec_mtb_nrtr_train/best_accuracy
6.2 模型导出
首先把训练阶段保存的模型转换为推理模型。可先下载官方预训练权重 rec_mtb_nrtr_train(对应 rec_mtb_nrtr.yml 复现表),再执行导出:
python3 tools/export_model.py -c configs/rec/rec_mtb_nrtr.yml -o Global.pretrained_model=./rec_mtb_nrtr_train/best_accuracy Global.save_inference_dir=./inference/rec_mtb_nrtr
注意事项(来自官方文档):
- 若在自有数据集上训练并修改了字典文件,务必同步修改配置文件中的
character_dict_path,使其指向修改后的字典; - 若在训练时修改了输入尺寸,请同步修改 tools/export_model.py 中与 NRTR 对应的
infer_shape。
导出成功后,save_inference_dir 目录下应包含三个文件:
/inference/rec_mtb_nrtr/
├── inference.pdiparams
├── inference.pdiparams.info
└── inference.pdmodel
6.3 Python 推理
使用 tools/infer/predict_rec.py 对 NRTR 推理模型进行预测:
python3 tools/infer/predict_rec.py --image_dir='./doc/imgs_words_en/word_10.png' --rec_model_dir='./inference/rec_mtb_nrtr/' --rec_algorithm='NRTR' --rec_image_shape='1,32,100' --rec_char_dict_path='./ppocr/utils/EN_symbol_dict.txt'
执行上述命令后,屏幕会打印上图(word_10.png)的识别文本与置信度,示例如下:
Predicts of ./doc/imgs_words_en/word_10.png:('pain', 0.9465042352676392)
推理侧与训练侧的对应关系(源码印证):
--rec_image_shape='1,32,100'与配置中GrayRecResizeImg.image_shape: [100, 32]一致(通道 1 / 高 32 / 宽 100);- predict_rec.py 中
NRTR分支会将图像转为灰度,用Image.Resampling.LANCZOS缩放到(100, 32),再执行img / 128.0 - 1.0归一化,与训练侧GrayRecResizeImg的预处理流程保持一致; - 推理必须指定
--rec_algorithm='NRTR',以便程序装配NRTRLabelDecode后处理(predict_rec.py)。
6.4 C++ 推理 / Serving / 其他部署方式
依据官方算法文档的说明,当前版本对 NRTR 的支持情况为:
- C++ 推理:不支持(Not supported);
- Paddle Serving 服务化部署:不支持(Not supported);
- 其他更多部署形态:不支持(Not supported)。
即 NRTR 目前主要通过 Python 推理方式部署(tools/infer/predict_rec.py),在选用部署方案时需注意这一限制。
7. FAQ 与踩坑指南
-
为什么默认不使用 Beam Search?
NRTR 论文中使用 Beam Search 解码字符以获得更高精度,但其速度较慢。PaddleOCR 默认使用贪心(Greedy)解码,通过 配置项
Architecture.Head.beam_size: -1控制;当beam_size > 0时才在评估阶段启用 Beam Search。对应地,rec_nrtr_head.py 中的forward方法会根据beam_size是否大于 0 在forward_beam与forward_test(贪心自回归解码)之间切换。 -
词典与特殊 token 的关系是什么?
NRTRLabelDecode.add_special_char会在词典头部追加blank(0)、<unk>(1)、<s>(2)、</s>(3)四个 token;编码时标签以<s>开头、</s>结尾(见 NRTRLabelEncode),解码遇到</s>即终止。这也是入口代码中输出通道数取char_num + 3的原因。 -
如何处理长文本样本?
Global.max_text_length: 25与 NRTRLabelEncode 中的长度检查配合生效:长度达到max_text_len - 1的样本会被丢弃;训练时解码器输入会去掉最后一个 token(tgt[:, :-1])。如需支持更长文本,可调大max_text_length并同步调整输入图像宽度。
8. 版本升级说明(2.6 Release Note)
release/2.6 版本重构了 NRTR 代码结构:
- 新版本可加载旧版本权重:新代码结构能够加载
release/2.5及更早版本的模型参数。官方提供了旧版权重到新版权重的转换脚本(原文以<details>折叠展开),其核心逻辑是把旧版编码器/解码器中self_attn的conv1/conv2/conv3(分别对应 Q、K、V)权重transpose后按最后一维拼接为qkv权重,把norm3映射为新版norm2、mlp.fc映射为conv等,最后通过model.set_state_dict(new_state_dict)加载并重新保存为nrtrnew_from_old_params.pdparams; - 代码更干净、推理更快:新版相比旧版代码结构更清晰,同时推理速度得到提升。
若你持有旧版本(release/2.5 及之前)的 NRTR 权重,可参照上述转换思路(对应新版 rec_nrtr_head.py 中的参数命名)完成迁移后再进行训练或导出。
9. 引用
如果你在学术工作中使用了 NRTR 算法,建议引用原论文:
@article{Sheng2019NRTR,
title = {NRTR: A No-Recurrence Sequence-to-Sequence Model For Scene Text Recognition},
author = {Fenfen Sheng and Zhineng Chen and Bo Xu},
booktitle = {ICDAR},
year = {2019},
url = {http://arxiv.org/abs/1806.00926},
pages = {781-786}
}
延伸阅读
- 文本识别训练全流程教程:数据准备、微调、评估与预测的完整指南
- 环境准备 与 项目克隆
- NRTR 配置原文、MTB 骨干实现、Transformer 识别头实现
- 后处理与数据编码:NRTRLabelDecode、NRTRLabelEncode
- Python 推理实现:tools/infer/predict_rec.py(NRTR 分支见 L210-L225)
