PaddleOCR Enhanced CTC Loss 实战:从 Focal-CTC、A-CTC 到 C-CTC 的识别精度提升方案

原创2026-09-09 21:57:461,961 阅读
文章标签:人工智能计算机视觉OCR深度学习图像处理MCP 服务AI 技能RAG

PaddleOCR Enhanced CTC Loss 实战:从 Focal-CTC、A-CTC 到 C-CTC 的识别精度提升方案

在 OCR 识别领域,CRNN(CNN + RNN + CTC)是工业界最广泛使用的文字识别算法之一:训练阶段用 CTCLoss 计算网络损失,推理阶段用 CTCDecode 获得解码结果。虽然 CRNN 在实际业务中已被证明效果出色,但用户对识别准确率的要求永无止境。本文以 CTCLoss 为切入点,系统讲解 PaddleOCR 中提出的 Enhanced CTC Loss(增强版 CTC 损失)方案——它从难例挖掘(Focal-CTC)、多任务学习(A-CTC)、Metric Learning(C-CTC) 三个角度对 CTCLoss 进行改进与融合。读完本文,你将掌握三种增强损失的数学原理、PaddleOCR 中的源码实现、配置文件写法,以及 C-CTC 方案中"字符中心初始化"的完整实操流程,并能在自己的识别任务上复现 PP-OCRv2 的精度提升思路。

背景:为什么 CTCLoss 还有改进空间

经典的 CTCLoss 对特征序列与标签序列之间的对齐关系不做显式假设,通过动态规划计算所有可行对齐路径的似然和,从而支持"输入序列长度大于标签长度"的序列识别任务。在 PaddleOCR 中,CTCLoss 的实现位于 ppocr/losses/rec_ctc_loss.py,其核心是:

self.loss_func = nn.CTCLoss(blank=0, reduction="none")

其中 blank=0 表示以 0 作为 CTC 的空字符(blank)索引,reduction="none" 保留每个样本独立的损失值,以便后续做难例加权。计算时,预测序列会被转置为 (N, B, C) 维度并配合 preds_lengths、label_lengths 调用 nn.CTCLoss。

尽管 CRNN + CTC 在实践中表现稳定,但存在三个可优化的痛点:

  1. 难易样本权重均等:简单样本与困难样本对损失的贡献相同,模型难以聚焦于易错样本;
  2. 缺乏辅助监督:仅靠 CTC 单一监督信号,特征空间缺乏额外的结构化约束;
  3. 相似字符易混淆:中文等大字符集任务中形似字多,类间距离不足导致误识。

Enhanced CTC Loss 正是围绕这三点设计的,它由三个可独立使用、也可组合的损失函数组成:Focal-CTC Loss、A-CTC Loss、C-CTC Loss。

1. Focal-CTC Loss:难例挖掘版 CTC

1.1 从 Focal Loss 说起

Focal Loss 出自论文《Focal Loss for Dense Object Detection》,最初用于解决 one-stage 目标检测中正负样本比例严重失衡的问题。它通过降低大量简单负样本在训练中的权重,实现一种困难样本挖掘(hard example mining)的效果。其形式如下:

Lfl={−α(1−y′)γlogy′,y=1−(1−α)y′γlog(1−y′),y=0L_{fl}=\left\{ \begin{array}{cl} -\alpha(1 - y^{'})^{\gamma}logy^{'} ,& y = 1 \\ -(1 - \alpha)y^{'\gamma}log(1 - y^{'}), & y = 0 \\ \end{array} \right.

其中,y′y' 是经过激活函数的输出,取值在 0~1 之间。它在原始交叉熵损失的基础上增加了调制系数 (1−y′)γ(1-y')^{\gamma} 与平衡因子 α\alpha。当 α=1,y=1\alpha=1, y=1 时,其损失曲线与交叉熵损失的对比如下图所示:

Focal Loss 与交叉熵损失在不同 gamma 取值下的损失曲线对比

从上图可以看到:当 γ>0\gamma>0 时,调制系数 (1−y′)γ(1-y')^{\gamma} 会给易分类样本的损失赋予更小的权重,使网络更关注困难、错分的样本。调节因子 γ\gamma 控制简单样本权重降低的速率——当 γ=0\gamma=0 时退化为交叉熵损失,γ\gamma 增大时调制作用也随之增强,实验中 γ=2\gamma=2 最优。平衡因子 α\alpha 用于平衡正负样本本身的比例不均,原文中取 α=0.25\alpha=0.25。

1.2 Focal-CTC 的推导与定义

对于经典的 CTC 算法,假设某个特征序列 (f1,f2,…,ft)(f_1, f_2, \dots, f_t) 经 CTC 解码后结果等于 label 的概率为 y′y',则解码结果不等于 label 的概率即为 (1−y′)(1-y')。不难发现 CTCLoss 与 y′y' 之间存在如下关系:

LCTC=−log(y′)L_{CTC} = -log(y')

结合 Focal Loss 的思想——给困难样本较大权重、简单样本较小权重,使网络聚焦于困难样本挖掘——Focal-CTC Loss 的定义如下:

LFocal_CTC=α∗(1−y′)γ∗LCTCL_{Focal\_CTC} = \alpha * (1 - y^{'})^{\gamma} * L_{CTC}

实验中标定 γ=2\gamma=2、α=1\alpha=1。

1.3 源码实现解析

Focal 加权逻辑内嵌在 CTCLoss 中,通过构造参数 use_focal_loss 开启:

loss = self.loss_func(predicts, labels, preds_lengths, label_lengths)
if self.use_focal_loss:
    weight = paddle.exp(-loss)
    weight = paddle.subtract(paddle.to_tensor([1.0]), weight)
    weight = paddle.square(weight)
    loss = paddle.multiply(loss, weight)
loss = loss.mean()

从源码可以看出,weight = exp(-loss) 即等价于 y′y'(因为 LCTC=−log⁡y′L_{CTC}=-\log y'),1 - y' 是调制系数,paddle.square 对应 γ=2\gamma=2。由于底层的 nn.CTCLoss 使用 reduction="none",每个样本的损失在加权前得以保留,加权后再统一 mean(),这正是"难例挖掘"得以实现的关键。

2. A-CTC Loss:CTC + ACE 的辅助监督

2.1 ACE Loss 的优势

A-CTC Loss 是 CTC Loss + ACE Loss 的简称,其中 ACE Loss 出自论文《Aggregation Cross-Entropy for Sequence Recognition》。相比 CTCLoss,ACE Loss 主要有两点优势:

  • ACE Loss 能够解决 2-D 文本的识别问题;CTCLoss 只能处理 1-D 文本;
  • ACE Loss 在时间复杂度和空间复杂度上优于 CTC Loss。

PaddleOCR 文档中总结的各类识别算法优劣对比如下图:

OCR 序列识别算法(CTC、Attention、ACE 等)优劣对比图

2.2 组合动机与定义

尽管 ACE Loss 如上图所示确实可以处理 2D 预测,并在内存占用与推理速度上具备优势,但在实践中,单独使用 ACE Loss 的识别效果并不如 CTCLoss。因此 PaddleOCR 团队尝试将两者结合:以 CTCLoss 为主,将 ACELoss 定位为辅助监督 loss。这一尝试在内部实验数据集上相比单独使用 CTCLoss 提升了约 1% 的识别准确率。

A-CTC Loss 定义如下:

LA−CTC=LCTC+λ∗LACEL_{A-CTC} = L_{CTC} + \lambda * L_{ACE}

实验中 λ=0.1\lambda=0.1。

2.3 源码实现解析

ACE Loss 实现位于 ppocr/losses/ace_loss.py,其核心思路是对序列维度做"聚合",将逐帧 softmax 概率沿时间轴求和并归一化,再与标签的聚合分布计算交叉熵:

predicts = nn.functional.softmax(predicts, axis=-1)
aggregation_preds = paddle.sum(predicts, axis=1)
aggregation_preds = paddle.divide(aggregation_preds, div)

注意它的输入 batch[2](序列长度)与 batch[3](标签的聚合 one-hot 计数),因此使用 ACE 辅助监督时,数据流水线需要额外保留 label_ace 字段(详见后文配置部分)。ACELoss 使用 ignore_index=0 配合 soft_label=True 的交叉熵,0 作为 blank/背景类被忽略。

3. C-CTC Loss:CTC + Center Loss 的度量学习

3.1 动机:中文识别中的形似字问题

C-CTC Loss 是 CTC Loss + Center Loss 的简称。Center Loss 出自论文《A Discriminative Feature Learning Approach for Deep Face Recognition》,最早用于人脸识别,通过增大类间距离、减小类内距离来学习判别性特征,是 Metric Learning 领域较早且常用的算法之一。

在中文 OCR 识别任务中,通过对 badcase 的分析,PaddleOCR 团队发现中文识别的一大难点是相似字符多、容易误识。由此想到借鉴 Metric Learning 的思路增大相似字符的类间距,从而提高识别准确率。但这里存在一个天然的鸿沟:Metric Learning 主要用于图像识别领域,训练数据的标签是固定值;而 OCR 本质上是序列识别任务,特征和 label 之间没有显式的对齐关系,两者如何结合是需要探索的方向。

经过尝试 Arcmargin、Cosmargin 等方法后,团队最终发现 Center Loss 有助于进一步提升识别准确率。C-CTC Loss 定义如下:

LC−CTC=LCTC+λ∗LcenterL_{C-CTC} = L_{CTC} + \lambda * L_{center}

实验中设置 λ=0.25\lambda=0.25。

3.2 Center Loss 源码解析

Center Loss 实现位于 ppocr/losses/center_loss.py,参考自 Wen et al. ECCV 2016 的经典实现:

self.centers = paddle.randn(shape=[self.num_classes, self.feature_dim]).astype("float64")

损失计算时,将最后一层 FC 的输入特征 reshape 后,与每个类别的 center 计算 L2 距离,并仅对 argmax(predicts) 得到的"伪标签"对应的 center 距离求和取平均:

label = paddle.argmax(predicts, axis=2)
...
mask = paddle.equal(classes, label).astype("float64")
dist = paddle.multiply(distmat, mask)
loss = paddle.sum(paddle.clip(dist, min=1e-12, max=1e12)) / batch_size

这里有两个关键点:

  • 伪标签机制:由于 OCR 特征与字符没有显式对齐,源码用 argmax(predicts) 得到每个时间步的类别索引作为对齐近似,再拉近对应特征与 center 的距离,从而在序列任务中实现了 Center Loss 的迁移;
  • Center 初始化:CenterLoss 支持通过 center_file_path 加载预提取的字符中心(pickle 格式),否则默认使用随机初始化。

3.3 字符 Center 的初始化方法

值得一提的是,在 C-CTC Loss 中,随机初始化 Center 并不能带来明显提升。PaddleOCR 采用如下初始化方法:

  1. 基于原始的 CTCLoss,训练得到一个网络 NN;
  2. 挑选出训练集中识别完全正确的部分,组成集合 GG;
  3. 将 GG 中的每个样本送入网络做前向计算,提取最后一个 FC 层的输入(feature) 与其经过 argmax 计算的结果(index)之间的对应关系;
  4. 将相同 index 的 feature 进行聚合、计算平均值,得到各字符的初始 center。

3.4 实操:用 export_center.py 提取字符中心

以配置文件 configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec.yml 为例,Center 提取命令如下:

python tools/export_center.py -c configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec.yml -o Global.pretrained_model="./output/rec_mobile_pp-OCRv2/best_accuracy"

运行完成后,会在 PaddleOCR 主目录下生成 train_center.pkl。

从 tools/export_center.py 的源码可以看出完整流程:脚本会把训练集数据作为 Eval dataloader 使用,将 Architecture.Head.return_feats 强制置为 True(以让模型前向时同时返回特征与预测),加载训练好的 best_accuracy 模型,然后调用 tools/program.py 中的 get_center(model, eval_dataloader, post_process_class)(见 tools/program.py)遍历数据、逐批执行前向与后处理,聚合每个字符的特征均值,最终通过 pickle.dump(char_center, f) 序列化到 train_center.pkl。

4. EnhancedCTCLoss:三合一的统一融合

上述三个损失被统一封装在 ppocr/losses/rec_enhanced_ctc_loss.py 的 EnhancedCTCLoss 中,通过开关参数自由组合:

class EnhancedCTCLoss(nn.Layer):
    def __init__(
        self,
        use_focal_loss=False,
        use_ace_loss=False,
        ace_loss_weight=0.1,
        use_center_loss=False,
        center_loss_weight=0.05,
        num_classes=6625,
        feat_dim=96,
        init_center=False,
        center_file_path=None,
        **kwargs,
    ):

在 __call__ 中,CTCLoss 作为基础损失恒被计算,Center Loss 与 ACE Loss 按其开关与权重叠加:

loss = self.ctc_loss_func(predicts, batch)["loss"]
if self.use_center_loss:
    loss = loss + self.center_loss_func(predicts, batch)["loss_center"] * self.center_loss_weight
if self.use_ace_loss:
    loss = loss + self.ace_loss_func(predicts, batch)["loss_ace"] * self.ace_loss_weight
return {"enhanced_ctc_loss": loss}

从源码结构看,Focal 权重是通过 CTCLoss(use_focal_loss=...) 透传实现的,Center Loss 与 ACE Loss 则通过 use_center_loss、use_ace_loss 两个布尔开关控制实例化,num_classes 与 feat_dim 必须与模型 Head 的输出维度严格匹配(默认分别为 6625 与 96,对应 PP-OCRv2 的字符集规模与特征维度)。

4.1 实战配置:CombinedLoss 组合写法

PaddleOCR 在训练侧更多通过 CombinedLoss(见 ppocr/losses/combined_loss.py)来组合多个损失,每个子损失必须包含 weight 字段。仓库中提供的完整可运行配置为 configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec_enhanced_ctc_loss.yml,其 Loss 部分如下:

Loss:
  name: CombinedLoss
  loss_config_list:
  - CTCLoss:
      use_focal_loss: false
      weight: 1.0
  - CenterLoss:
      weight: 0.05
      num_classes: 6625
      feat_dim: 96
      center_file_path:
  # you can also try to add ace loss on your own dataset
  # - ACELoss:
  #     weight: 0.1

该配置对应的关键点:

  • CTCLoss 为主损失,weight: 1.0,可打开 use_focal_loss: true 切换为 Focal-CTC;
  • CenterLoss 为辅助损失,weight: 0.05 对应 C-CTC 中的 λ\lambda,num_classes 与 feat_dim 需与 CTCHead 配置一致(该配置中 Head 的 mid_channels: 96),center_file_path 填入第 3.4 节生成的 train_center.pkl 路径即可启用预提取中心;
  • ACELoss 默认注释,按需放开并设 weight: 0.1(对应 A-CTC 中的 λ=0.1\lambda=0.1),同时需要修改数据变换,让 KeepKeys 额外保留 label_ace 字段(训练集 transforms 中 keep_keys 已包含 label_ace,验证集无需该字段)。

与基准配置 configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec.yml(Loss 仅为 name: CTCLoss,Head 无 return_feats)对比可见,启用 C-CTC 需要两处配套改动:

  1. Architecture.Head.return_feats: true——让 CTCHead 前向时同时返回特征,供 CenterLoss 使用;
  2. 训练数据在 RecResizeImg 之后保持 image_shape: [3, 32, 320],batch_size_per_card: 128,并保留 label_ace 键。

启动训练与其他识别任务一致:

python tools/train.py -c configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec_enhanced_ctc_loss.yml

5. 实验结论与使用建议

PaddleOCR 团队基于百度内部数据集对三种方案分别进行了训练与评测,结果如下表:

algorithm Focal_CTC A_CTC C-CTC
gain +0.3% +0.7% +1.7%

基于上述实验结论,PP-OCRv2 最终采用了 C-CTC 策略。需要强调的是,PP-OCRv2 处理的是 6625 个中文字符的识别任务,字符集大、形似字多,因此 C-CTC 方案在该任务上带来的提升最为显著。但如果换成其他 OCR 识别任务,结论可能会有所不同。

建议读者结合自身任务特点进行尝试:

  • Focal-CTC:实现成本最低(仅需在 CTCLoss 上打开开关),适合整体难度分布不均、存在明显难易样本差距的任务;
  • A-CTC:需改造数据流水线提供 label_ace,适合想引入 2D/聚合监督信号的任务;
  • C-CTC:效果上限最高(在中文大字符集任务上 +1.7%),但需要先训练基线模型并执行一次 Center 提取流程,成本也最高;
  • EnhancedCTC 组合:可以直接使用 EnhancedCTCLoss 或 CombinedLoss 同时叠加多个辅助损失,通常会带来不同程度的提升。

6. 延伸阅读与源码索引

本文涉及的源码与配置均可在当前仓库中进一步查阅:

登录后查看全文
PaddleOCR