PaddleOCR Enhanced CTC Loss 全解析:Focal-CTC、A-CTC 与 C-CTC 的改进原理与实战配置

原创2026-09-18 10:57:191,927 阅读
文章标签:OCR计算机视觉图像处理深度学习人工智能AI 技能MCP 服务CLI

PaddleOCR Enhanced CTC Loss 全解析:Focal-CTC、A-CTC 与 C-CTC 的改进原理与实战配置

本文围绕 PaddleOCR 中基于 CTCLoss 的三条改进路线展开:Focal-CTC(难例挖掘)、A-CTC(多任务学习)与 C-CTC(度量学习),系统讲解每个改进的数学动机、源码实现、超参选择以及在 PP-OCRv2 中的应用结论。读完本文,你将理解 EnhancedCTCLoss 的内部结构与参数含义,掌握 Center 初始化与 tools/export_center.py 的完整使用流程,并能够在自己的识别任务上直接复用 ch_PP-OCRv2_rec_enhanced_ctc_loss.yml 等配置进行训练实验。

在 OCR 识别领域,CRNN 是工业界广泛使用的文字识别算法:训练阶段采用 CTCLoss 计算网络损失,推理阶段采用 CTCDecode 获得解码结果。尽管 CRNN 已被实际业务证明能获得可靠的识别效果,用户对准确率的要求却永无止境。PaddleOCR 团队以 CTCLoss 为切入点,分别从难例挖掘(Hard Example Mining)、多任务学习(Multi-task Learning)与度量学习(Metric Learning)三个角度探索了 CTCLoss 的改进融合方案,最终提出 EnhancedCTCLoss,包含 Focal-CTC Loss、A-CTC Loss、C-CTC Loss 三个组成部分。下面逐一展开。

Focal Loss 与交叉熵损失对比

1. Focal-CTC Loss:以难例挖掘思路改进 CTC

1.1 Focal Loss 的原理回顾

Focal Loss 出自论文《Focal Loss for Dense Object Detection》,最初用于解决 one-stage 目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重,本质上是一种困难样本挖掘(Hard Example Mining)。

其损失函数形式如下:

\begin{equation} L_{fl}=\left\{ \begin{array}{cl} -\alpha(1 - y^{'})^{\gamma}logy^{'} ,& y = 1 \\ -(1 - \alpha)y^{'\gamma}log(1 - y^{'}), & y = 0 \\ \end{array} \right. \end{equation}

其中,y' 是经过激活函数的输出,取值在 0-1 之间。它是在原始交叉熵损失的基础上增加了调制系数 (1−y′)γ(1 - y')^\gamma 与平衡因子 α\alpha。当 α=1,y=1\alpha = 1, y = 1 时,其损失函数与交叉熵损失的对比见上图。

从上图可以看到:当 γ>0\gamma > 0 时,调整系数 (1−y′)γ(1-y')^\gamma 赋予易分类样本损失一个更小的权重,使网络更关注困难的、错分的样本。调整因子 γ\gamma 用于调节简单样本权重降低的速率:γ=0\gamma = 0 时即为交叉熵损失函数;γ\gamma 增大时,调整因子的影响也随之增大。实验发现 γ=2\gamma = 2 是最优值。平衡因子 α\alpha 用来平衡正负样本本身的比例不均,论文中 α\alpha 取 0.25。

1.2 从 Focal Loss 到 Focal-CTC

对于经典的 CTC 算法,假设某个特征序列 (f1,f2,…,ft)(f_1, f_2, \dots, f_t) 经过 CTC 解码之后结果等于 label 的概率为 y′y',则 CTC 解码结果不等于 label 的概率即为 (1−y′)(1-y')。不难发现,CTCLoss 值与 y′y' 存在如下关系:

LCTC=−log(y′)L_{CTC} = -log(y^{'})

结合 Focal Loss 的思想——赋予困难样本较大的权重、简单样本较小的权重,可使网络更加聚焦于困难样本的挖掘,进一步提升识别准确率。由此 PaddleOCR 提出了 Focal-CTC Loss,其定义如下:

LFocal_CTC=α∗(1−y′)γ∗LCTCL_{Focal\_CTC} = \alpha * (1 - y^{'})^{\gamma} * L_{CTC}

实验中 γ\gamma 取值为 2、α=1\alpha = 1。也就是说,一个样本的 CTC loss 越大(即解码结果越不确定、越困难),(1−y′)γ(1-y')^\gamma 越接近 1,权重保持较大;反之 CTC loss 越小(简单样本),调制因子迅速衰减,权重被压低。

1.3 源码实现

Focal-CTC 的实现位于 ppocr/losses/rec_ctc_loss.py。CTCLoss 类通过 use_focal_loss 开关控制是否启用 Focal 调制,其核心逻辑如下:

  • 底层调用 nn.CTCLoss(blank=0, reduction="none"),先得到每个样本的原始 CTC loss(不做 reduce);
  • 当 use_focal_loss=True 时,将原始 loss 代入 weight = exp(-loss),再计算 weight = 1 - weight 并取平方,得到 (1−y′)2(1-y')^2 形式的调制因子;
  • 最后 loss = loss * weight 并做 mean() 归约,返回 {"loss": loss}。

从源码可以看出,α=1\alpha = 1 意味着调制因子仅包含 (1−y′)γ(1-y')^\gamma 一项,不额外引入类别平衡项,这是 CTC 序列任务与目标检测任务在样本分布上的差异所决定的。

2. A-CTC Loss:以 ACE Loss 做辅助监督的多任务学习

2.1 ACE Loss 的优势

A-CTC Loss 是 CTC Loss + ACE Loss 的简称。其中 ACE Loss 出自论文《Aggregation Cross-Entropy for Sequence Recognition》。与 CTCLoss 相比,ACE Loss 主要有两点优势:

  • ACE Loss 能够解决 2-D 文本的识别问题;CTCLoss 只能处理 1-D 文本;
  • ACE Loss 在时间复杂度和空间复杂度上优于 CTC Loss。

OCR 识别算法优劣对比

上图总结了前人对各类 OCR 识别算法的优劣对比。虽然 ACE Loss 如上图所述可以处理 2D 预测,且在内存占用与推理速度方面具备优势,但在实践中发现,单独使用 ACE Loss 的识别效果并不如 CTCLoss。因此 PaddleOCR 团队尝试将 CTCLoss 与 ACELoss 结合,以 CTCLoss 为主、ACELoss 作为辅助监督 loss——这一多任务学习方案收到了效果:在内部实验数据集上,相比单独使用 CTCLoss,识别准确率可提升约 1%。

2.2 公式与超参

A-CTC Loss 定义如下:

LA−CTC=LCTC+λ∗LACEL_{A-CTC} = L_{CTC} + \lambda * L_{ACE}

实验中 λ=0.1\lambda = 0.1。ACE loss 实现代码见 ppocr/losses/ace_loss.py。

2.3 源码实现

在 ppocr/losses/ace_loss.py 中,ACELoss 的实现思路是:

  1. 对预测结果在类别维度做 softmax;
  2. 沿时间维度(axis=1)对概率做聚合求和,并除以时间步数 N 得到聚合分布 aggregation_preds;
  3. 将 label(batch[3])也按时间步归一化(首位置填充 div - length 表示 blank/多余部分);
  4. 使用 soft_label=True 的 CrossEntropyLoss 计算聚合分布与归一化标签之间的损失,返回 {"loss_ace": loss}。

这种"先聚合时间维、再算交叉熵"的做法绕开了 CTC 的前向-后向对齐算法,使得损失可以天然适配 2D 预测,同时计算复杂度更低,作为辅助监督信号可以弥补 CTC 主损失在长序列上的不足。

3. C-CTC Loss:以 Center Loss 拉大类间距离

3.1 中文识别的痛点与 Center Loss

C-CTC Loss 是 CTC Loss + Center Loss 的简称。其中 Center Loss 出自论文《A Discriminative Feature Learning Approach for Deep Face Recognition》,最早用于人脸识别任务,用于增大类间距离、减小类内距离,是度量学习(Metric Learning)领域一种较早且常用的算法。

在中文 OCR 识别任务中,通过对 badcase 分析发现:中文识别的一大难点是相似字符多、容易误识。由此想到借鉴度量学习的思想增大相似字符的类间距,从而提高识别准确率。但需要注意的是:度量学习主要用于图像识别领域,训练数据的标签是固定值;而 OCR 识别本质上是序列识别任务,特征与 label 之间并不存在显式的对齐关系,因此两者如何结合是一个值得探索的方向。

PaddleOCR 团队尝试了 Arcmargin、Cosmargin 等方法,最终发现 CenterLoss 有助于进一步提升识别准确率。C-CTC Loss 定义如下:

LC−CTC=LCTC+λ∗LcenterL_{C-CTC} = L_{CTC} + \lambda * L_{center}

实验中设置 λ=0.25\lambda = 0.25。Center Loss 实现代码见 ppocr/losses/center_loss.py。

3.2 Center 的初始化:随机初始化无效

值得一提的是,在 C-CTC Loss 中,选择随机初始化 Center 并不能带来明显提升。PaddleOCR 采用的 Center 初始化方法如下:

  1. 基于原始的 CTCLoss,训练得到一个网络 N;
  2. 挑选出训练集中识别完全正确的部分,组成集合 G;
  3. 将 G 中的每个样本送入网络进行前向计算,提取最后一个 FC 层的输入(即 feature)及其经过 argmax 计算的结果(即 index)之间的对应关系;
  4. 将相同 index 的 feature 进行聚合,计算平均值,得到各自字符的初始 center。

3.3 使用 export_center.py 提取 Center

以配置文件 configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec.yml 为例,Center 提取命令如下:

python tools/export_center.py -c configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec.yml -o Global.pretrained_model="./output/rec_mobile_pp-OCRv2/best_accuracy"

运行完成后,会在 PaddleOCR 主目录下生成 train_center.pkl。

从 tools/export_center.py 的源码可以看到该流程的具体实现:

  • 先用 build_dataloader(config, "Eval", ...) 构建数据加载器,并将 Eval 数据集指向训练集(config["Eval"]["dataset"]["name"] = config["Train"]["dataset"]["name"] 等),确保用训练数据计算 Center;
  • 关键步骤是设置 config["Architecture"]["Head"]["return_feats"] = True,让 CTCHead 在输出预测的同时返回 FC 层输入的特征;
  • 通过 build_model 构建模型并用 load_model 加载预训练权重;
  • 调用 program.get_center(model, eval_dataloader, post_process_class) 聚合特征,计算每个字符的平均特征作为初始 Center;
  • 最后序列化到 train_center.pkl。

在 ppocr/losses/center_loss.py 中,CenterLoss.__init__ 默认用 paddle.randn([num_classes, feat_dim]) 初始化 centers;当传入 center_file_path 时,会校验文件存在性并从 pkl 中逐键加载覆盖对应索引的 center。前向计算时,将特征 reshape 为 [-1, feat_dim],对预测做 argmax 得到伪标签,再通过平方展开计算特征与各 center 之间的 L2 距离矩阵,用 mask 选出对应类别的距离并求均值,返回 {"loss_center": loss}——整体逻辑即为"拉近特征与其所属类别 center 的距离"。

4. 统一融合方案 EnhancedCTCLoss

将上述三种思路统一融合即为 EnhancedCTCLoss,统一实现见 ppocr/losses/rec_enhanced_ctc_loss.py。

EnhancedCTCLoss 继承自 nn.Layer,构造参数与含义如下:

参数 默认值 含义
use_focal_loss False 是否启用 Focal-CTC 调制(难例挖掘)
use_ace_loss False 是否叠加 ACE Loss 辅助监督(多任务学习)
ace_loss_weight 0.1 ACE Loss 的权重 λ\lambda
use_center_loss False 是否叠加 Center Loss(度量学习)
center_loss_weight 0.05 Center Loss 的权重 λ\lambda
num_classes 6625 类别数(字符集大小),Center 矩阵的行数
feat_dim 96 特征维度(FC 层输入维度),Center 矩阵的列数
init_center False 是否使用预提取的 Center 初始化
center_file_path None train_center.pkl 的路径

在前向 __call__ 中,总损失按如下顺序累加:

loss = L_CTC
     + center_loss_weight * L_center   (若 use_center_loss)
     + ace_loss_weight   * L_ace       (若 use_ace_loss)

最终返回 {"enhanced_ctc_loss": loss}。注意 CTCLoss 与 CenterLoss 之间共享同一个 CTCHead 的特征输出,CenterLoss 要求 predicts 为 (features, predicts) 的元组形式,这正是配置中需要打开 return_feats: true 的原因。

仓库中已经提供了一套完整可用的组合配置:configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec_enhanced_ctc_loss.yml。与基础版配置相比,它主要做了以下改动:

  • Head 下新增 return_feats: true,使 CTCHead 同时输出特征与预测,供 CenterLoss 使用;
  • Loss 由单个 CTCLoss 改为 CombinedLoss,其中 CTCLoss 的 use_focal_loss: false、weight: 1.0;CenterLoss 的 weight: 0.05、num_classes: 6625、feat_dim: 96,center_file_path 留空(填入上一步生成的 train_center.pkl 路径即可使用预提取 Center);
  • 配置中还以注释形式保留了 ACE Loss 的接入方式(ACELoss 权重 0.1),便于在自有数据集上尝试三路融合;
  • Train.dataset.transforms 中的 KeepKeys.keep_keys 增加了 label_ace 字段,用于在启用 ACE Loss 时提供聚合标签;
  • 输出目录相应改为 ./output/rec_mobile_pp-OCRv2_enhanced_ctc_loss。

5. 实验结论与使用建议

对于上述三种方案,PaddleOCR 团队基于百度内部数据集进行了训练与评测,实验结果如下表所示:

algorithm Focal_CTC A_CTC C-CTC
gain +0.3% +0.7% +1.7%

基于上述实验结论,PP-OCRv2 采用了 C-CTC 策略。值得说明的是:PP-OCRv2 处理的是 6625 个中文字符 的识别任务,字符集较大、形似字较多,因此 C-CTC 方案在该任务上带来的提升较大;但若切换到其他 OCR 识别任务,结论可能会有所不同。

建议读者结合自身任务特点做针对性尝试:

  • 难例较多、长尾样本明显的任务:优先尝试 Focal-CTC(use_focal_loss: true),它几乎零成本接入,只需要在 CTCLoss 上打开开关;
  • 希望引入 2D 监督信息或加速收敛的任务:尝试叠加 ACE Loss(use_ace_loss: true,ace_loss_weight: 0.1),但需注意单独使用 ACELoss 效果不及 CTCLoss,务必保持 CTC 为主;
  • 字符集大、相似字符多的中文/多语言任务:优先尝试 C-CTC(use_center_loss: true),并严格按照"先训 CTCLoss 基线 → 用 tools/export_center.py 提取 Center → 用 train_center.pkl 初始化再训练"的三步流程执行,随机初始化 Center 不会带来明显收益;
  • 追求极限精度:可尝试三者组合的 EnhancedCTC 方案,并以 ch_PP-OCRv2_rec_enhanced_ctc_loss.yml 为模板,在自己的数据集上分别调节 center_loss_weight、ace_loss_weight 与 Focal 的 γ\gamma 超参。

由于不同任务的字符集规模、形似字密度与数据分布差异较大,建议以基线 CTCLoss 为参照,在验证集上对比各方案的准确率增益,选择最适合自身业务的组合。

登录后查看全文
PaddleOCR