PaddleOCR Enhanced CTC Loss 实战:从 Focal-CTC、A-CTC 到 C-CTC 的识别精度提升方案
PaddleOCR Enhanced CTC Loss 实战:从 Focal-CTC、A-CTC 到 C-CTC 的识别精度提升方案
在 OCR 识别领域,CRNN(CNN + RNN + CTC)是工业界最广泛使用的文字识别算法之一:训练阶段用 CTCLoss 计算网络损失,推理阶段用 CTCDecode 获得解码结果。虽然 CRNN 在实际业务中已被证明效果出色,但用户对识别准确率的要求永无止境。本文以 CTCLoss 为切入点,系统讲解 PaddleOCR 中提出的 Enhanced CTC Loss(增强版 CTC 损失)方案——它从难例挖掘(Focal-CTC)、多任务学习(A-CTC)、Metric Learning(C-CTC) 三个角度对 CTCLoss 进行改进与融合。读完本文,你将掌握三种增强损失的数学原理、PaddleOCR 中的源码实现、配置文件写法,以及 C-CTC 方案中"字符中心初始化"的完整实操流程,并能在自己的识别任务上复现 PP-OCRv2 的精度提升思路。
背景:为什么 CTCLoss 还有改进空间
经典的 CTCLoss 对特征序列与标签序列之间的对齐关系不做显式假设,通过动态规划计算所有可行对齐路径的似然和,从而支持"输入序列长度大于标签长度"的序列识别任务。在 PaddleOCR 中,CTCLoss 的实现位于 ppocr/losses/rec_ctc_loss.py,其核心是:
self.loss_func = nn.CTCLoss(blank=0, reduction="none")
其中 blank=0 表示以 0 作为 CTC 的空字符(blank)索引,reduction="none" 保留每个样本独立的损失值,以便后续做难例加权。计算时,预测序列会被转置为 (N, B, C) 维度并配合 preds_lengths、label_lengths 调用 nn.CTCLoss。
尽管 CRNN + CTC 在实践中表现稳定,但存在三个可优化的痛点:
- 难易样本权重均等:简单样本与困难样本对损失的贡献相同,模型难以聚焦于易错样本;
- 缺乏辅助监督:仅靠 CTC 单一监督信号,特征空间缺乏额外的结构化约束;
- 相似字符易混淆:中文等大字符集任务中形似字多,类间距离不足导致误识。
Enhanced CTC Loss 正是围绕这三点设计的,它由三个可独立使用、也可组合的损失函数组成:Focal-CTC Loss、A-CTC Loss、C-CTC Loss。
1. Focal-CTC Loss:难例挖掘版 CTC
1.1 从 Focal Loss 说起
Focal Loss 出自论文《Focal Loss for Dense Object Detection》,最初用于解决 one-stage 目标检测中正负样本比例严重失衡的问题。它通过降低大量简单负样本在训练中的权重,实现一种困难样本挖掘(hard example mining)的效果。其形式如下:
其中, 是经过激活函数的输出,取值在 0~1 之间。它在原始交叉熵损失的基础上增加了调制系数 与平衡因子 。当 时,其损失曲线与交叉熵损失的对比如下图所示:
从上图可以看到:当 时,调制系数 会给易分类样本的损失赋予更小的权重,使网络更关注困难、错分的样本。调节因子 控制简单样本权重降低的速率——当 时退化为交叉熵损失, 增大时调制作用也随之增强,实验中 最优。平衡因子 用于平衡正负样本本身的比例不均,原文中取 。
1.2 Focal-CTC 的推导与定义
对于经典的 CTC 算法,假设某个特征序列 经 CTC 解码后结果等于 label 的概率为 ,则解码结果不等于 label 的概率即为 。不难发现 CTCLoss 与 之间存在如下关系:
结合 Focal Loss 的思想——给困难样本较大权重、简单样本较小权重,使网络聚焦于困难样本挖掘——Focal-CTC Loss 的定义如下:
实验中标定 、。
1.3 源码实现解析
Focal 加权逻辑内嵌在 CTCLoss 中,通过构造参数 use_focal_loss 开启:
loss = self.loss_func(predicts, labels, preds_lengths, label_lengths)
if self.use_focal_loss:
weight = paddle.exp(-loss)
weight = paddle.subtract(paddle.to_tensor([1.0]), weight)
weight = paddle.square(weight)
loss = paddle.multiply(loss, weight)
loss = loss.mean()
从源码可以看出,weight = exp(-loss) 即等价于 (因为 ),1 - y' 是调制系数,paddle.square 对应 。由于底层的 nn.CTCLoss 使用 reduction="none",每个样本的损失在加权前得以保留,加权后再统一 mean(),这正是"难例挖掘"得以实现的关键。
2. A-CTC Loss:CTC + ACE 的辅助监督
2.1 ACE Loss 的优势
A-CTC Loss 是 CTC Loss + ACE Loss 的简称,其中 ACE Loss 出自论文《Aggregation Cross-Entropy for Sequence Recognition》。相比 CTCLoss,ACE Loss 主要有两点优势:
- ACE Loss 能够解决 2-D 文本的识别问题;CTCLoss 只能处理 1-D 文本;
- ACE Loss 在时间复杂度和空间复杂度上优于 CTC Loss。
PaddleOCR 文档中总结的各类识别算法优劣对比如下图:
2.2 组合动机与定义
尽管 ACE Loss 如上图所示确实可以处理 2D 预测,并在内存占用与推理速度上具备优势,但在实践中,单独使用 ACE Loss 的识别效果并不如 CTCLoss。因此 PaddleOCR 团队尝试将两者结合:以 CTCLoss 为主,将 ACELoss 定位为辅助监督 loss。这一尝试在内部实验数据集上相比单独使用 CTCLoss 提升了约 1% 的识别准确率。
A-CTC Loss 定义如下:
实验中 。
2.3 源码实现解析
ACE Loss 实现位于 ppocr/losses/ace_loss.py,其核心思路是对序列维度做"聚合",将逐帧 softmax 概率沿时间轴求和并归一化,再与标签的聚合分布计算交叉熵:
predicts = nn.functional.softmax(predicts, axis=-1)
aggregation_preds = paddle.sum(predicts, axis=1)
aggregation_preds = paddle.divide(aggregation_preds, div)
注意它的输入 batch[2](序列长度)与 batch[3](标签的聚合 one-hot 计数),因此使用 ACE 辅助监督时,数据流水线需要额外保留 label_ace 字段(详见后文配置部分)。ACELoss 使用 ignore_index=0 配合 soft_label=True 的交叉熵,0 作为 blank/背景类被忽略。
3. C-CTC Loss:CTC + Center Loss 的度量学习
3.1 动机:中文识别中的形似字问题
C-CTC Loss 是 CTC Loss + Center Loss 的简称。Center Loss 出自论文《A Discriminative Feature Learning Approach for Deep Face Recognition》,最早用于人脸识别,通过增大类间距离、减小类内距离来学习判别性特征,是 Metric Learning 领域较早且常用的算法之一。
在中文 OCR 识别任务中,通过对 badcase 的分析,PaddleOCR 团队发现中文识别的一大难点是相似字符多、容易误识。由此想到借鉴 Metric Learning 的思路增大相似字符的类间距,从而提高识别准确率。但这里存在一个天然的鸿沟:Metric Learning 主要用于图像识别领域,训练数据的标签是固定值;而 OCR 本质上是序列识别任务,特征和 label 之间没有显式的对齐关系,两者如何结合是需要探索的方向。
经过尝试 Arcmargin、Cosmargin 等方法后,团队最终发现 Center Loss 有助于进一步提升识别准确率。C-CTC Loss 定义如下:
实验中设置 。
3.2 Center Loss 源码解析
Center Loss 实现位于 ppocr/losses/center_loss.py,参考自 Wen et al. ECCV 2016 的经典实现:
self.centers = paddle.randn(shape=[self.num_classes, self.feature_dim]).astype("float64")
损失计算时,将最后一层 FC 的输入特征 reshape 后,与每个类别的 center 计算 L2 距离,并仅对 argmax(predicts) 得到的"伪标签"对应的 center 距离求和取平均:
label = paddle.argmax(predicts, axis=2)
...
mask = paddle.equal(classes, label).astype("float64")
dist = paddle.multiply(distmat, mask)
loss = paddle.sum(paddle.clip(dist, min=1e-12, max=1e12)) / batch_size
这里有两个关键点:
- 伪标签机制:由于 OCR 特征与字符没有显式对齐,源码用
argmax(predicts)得到每个时间步的类别索引作为对齐近似,再拉近对应特征与 center 的距离,从而在序列任务中实现了 Center Loss 的迁移; - Center 初始化:
CenterLoss支持通过center_file_path加载预提取的字符中心(pickle格式),否则默认使用随机初始化。
3.3 字符 Center 的初始化方法
值得一提的是,在 C-CTC Loss 中,随机初始化 Center 并不能带来明显提升。PaddleOCR 采用如下初始化方法:
- 基于原始的 CTCLoss,训练得到一个网络 ;
- 挑选出训练集中识别完全正确的部分,组成集合 ;
- 将 中的每个样本送入网络做前向计算,提取最后一个 FC 层的输入(feature) 与其经过 argmax 计算的结果(index)之间的对应关系;
- 将相同 index 的 feature 进行聚合、计算平均值,得到各字符的初始 center。
3.4 实操:用 export_center.py 提取字符中心
以配置文件 configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec.yml 为例,Center 提取命令如下:
python tools/export_center.py -c configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec.yml -o Global.pretrained_model="./output/rec_mobile_pp-OCRv2/best_accuracy"
运行完成后,会在 PaddleOCR 主目录下生成 train_center.pkl。
从 tools/export_center.py 的源码可以看出完整流程:脚本会把训练集数据作为 Eval dataloader 使用,将 Architecture.Head.return_feats 强制置为 True(以让模型前向时同时返回特征与预测),加载训练好的 best_accuracy 模型,然后调用 tools/program.py 中的 get_center(model, eval_dataloader, post_process_class)(见 tools/program.py)遍历数据、逐批执行前向与后处理,聚合每个字符的特征均值,最终通过 pickle.dump(char_center, f) 序列化到 train_center.pkl。
4. EnhancedCTCLoss:三合一的统一融合
上述三个损失被统一封装在 ppocr/losses/rec_enhanced_ctc_loss.py 的 EnhancedCTCLoss 中,通过开关参数自由组合:
class EnhancedCTCLoss(nn.Layer):
def __init__(
self,
use_focal_loss=False,
use_ace_loss=False,
ace_loss_weight=0.1,
use_center_loss=False,
center_loss_weight=0.05,
num_classes=6625,
feat_dim=96,
init_center=False,
center_file_path=None,
**kwargs,
):
在 __call__ 中,CTCLoss 作为基础损失恒被计算,Center Loss 与 ACE Loss 按其开关与权重叠加:
loss = self.ctc_loss_func(predicts, batch)["loss"]
if self.use_center_loss:
loss = loss + self.center_loss_func(predicts, batch)["loss_center"] * self.center_loss_weight
if self.use_ace_loss:
loss = loss + self.ace_loss_func(predicts, batch)["loss_ace"] * self.ace_loss_weight
return {"enhanced_ctc_loss": loss}
从源码结构看,Focal 权重是通过 CTCLoss(use_focal_loss=...) 透传实现的,Center Loss 与 ACE Loss 则通过 use_center_loss、use_ace_loss 两个布尔开关控制实例化,num_classes 与 feat_dim 必须与模型 Head 的输出维度严格匹配(默认分别为 6625 与 96,对应 PP-OCRv2 的字符集规模与特征维度)。
4.1 实战配置:CombinedLoss 组合写法
PaddleOCR 在训练侧更多通过 CombinedLoss(见 ppocr/losses/combined_loss.py)来组合多个损失,每个子损失必须包含 weight 字段。仓库中提供的完整可运行配置为 configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec_enhanced_ctc_loss.yml,其 Loss 部分如下:
Loss:
name: CombinedLoss
loss_config_list:
- CTCLoss:
use_focal_loss: false
weight: 1.0
- CenterLoss:
weight: 0.05
num_classes: 6625
feat_dim: 96
center_file_path:
# you can also try to add ace loss on your own dataset
# - ACELoss:
# weight: 0.1
该配置对应的关键点:
- CTCLoss 为主损失,
weight: 1.0,可打开use_focal_loss: true切换为 Focal-CTC; - CenterLoss 为辅助损失,
weight: 0.05对应 C-CTC 中的 ,num_classes与feat_dim需与CTCHead配置一致(该配置中 Head 的mid_channels: 96),center_file_path填入第 3.4 节生成的train_center.pkl路径即可启用预提取中心; - ACELoss 默认注释,按需放开并设
weight: 0.1(对应 A-CTC 中的 ),同时需要修改数据变换,让KeepKeys额外保留label_ace字段(训练集 transforms 中keep_keys已包含label_ace,验证集无需该字段)。
与基准配置 configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec.yml(Loss 仅为 name: CTCLoss,Head 无 return_feats)对比可见,启用 C-CTC 需要两处配套改动:
Architecture.Head.return_feats: true——让CTCHead前向时同时返回特征,供CenterLoss使用;- 训练数据在
RecResizeImg之后保持image_shape: [3, 32, 320],batch_size_per_card: 128,并保留label_ace键。
启动训练与其他识别任务一致:
python tools/train.py -c configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec_enhanced_ctc_loss.yml
5. 实验结论与使用建议
PaddleOCR 团队基于百度内部数据集对三种方案分别进行了训练与评测,结果如下表:
| algorithm | Focal_CTC | A_CTC | C-CTC |
|---|---|---|---|
| gain | +0.3% | +0.7% | +1.7% |
基于上述实验结论,PP-OCRv2 最终采用了 C-CTC 策略。需要强调的是,PP-OCRv2 处理的是 6625 个中文字符的识别任务,字符集大、形似字多,因此 C-CTC 方案在该任务上带来的提升最为显著。但如果换成其他 OCR 识别任务,结论可能会有所不同。
建议读者结合自身任务特点进行尝试:
- Focal-CTC:实现成本最低(仅需在 CTCLoss 上打开开关),适合整体难度分布不均、存在明显难易样本差距的任务;
- A-CTC:需改造数据流水线提供
label_ace,适合想引入 2D/聚合监督信号的任务; - C-CTC:效果上限最高(在中文大字符集任务上 +1.7%),但需要先训练基线模型并执行一次 Center 提取流程,成本也最高;
- EnhancedCTC 组合:可以直接使用
EnhancedCTCLoss或CombinedLoss同时叠加多个辅助损失,通常会带来不同程度的提升。
6. 延伸阅读与源码索引
本文涉及的源码与配置均可在当前仓库中进一步查阅:
- 损失实现:ppocr/losses/rec_enhanced_ctc_loss.py、ppocr/losses/rec_ctc_loss.py、ppocr/losses/ace_loss.py、ppocr/losses/center_loss.py、ppocr/losses/combined_loss.py
- 训练配置:configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec_enhanced_ctc_loss.yml、基准配置 configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec.yml
- Center 提取工具:tools/export_center.py 与 tools/program.py 中的
get_center - 训练入口:tools/train.py

