PaddleOCR Enhanced CTC Loss 全解析:Focal-CTC、A-CTC 与 C-CTC 的改进原理与实战配置
PaddleOCR Enhanced CTC Loss 全解析:Focal-CTC、A-CTC 与 C-CTC 的改进原理与实战配置
本文围绕 PaddleOCR 中基于 CTCLoss 的三条改进路线展开:Focal-CTC(难例挖掘)、A-CTC(多任务学习)与 C-CTC(度量学习),系统讲解每个改进的数学动机、源码实现、超参选择以及在 PP-OCRv2 中的应用结论。读完本文,你将理解 EnhancedCTCLoss 的内部结构与参数含义,掌握 Center 初始化与 tools/export_center.py 的完整使用流程,并能够在自己的识别任务上直接复用 ch_PP-OCRv2_rec_enhanced_ctc_loss.yml 等配置进行训练实验。
在 OCR 识别领域,CRNN 是工业界广泛使用的文字识别算法:训练阶段采用 CTCLoss 计算网络损失,推理阶段采用 CTCDecode 获得解码结果。尽管 CRNN 已被实际业务证明能获得可靠的识别效果,用户对准确率的要求却永无止境。PaddleOCR 团队以 CTCLoss 为切入点,分别从难例挖掘(Hard Example Mining)、多任务学习(Multi-task Learning)与度量学习(Metric Learning)三个角度探索了 CTCLoss 的改进融合方案,最终提出 EnhancedCTCLoss,包含 Focal-CTC Loss、A-CTC Loss、C-CTC Loss 三个组成部分。下面逐一展开。
1. Focal-CTC Loss:以难例挖掘思路改进 CTC
1.1 Focal Loss 的原理回顾
Focal Loss 出自论文《Focal Loss for Dense Object Detection》,最初用于解决 one-stage 目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重,本质上是一种困难样本挖掘(Hard Example Mining)。
其损失函数形式如下:
\begin{equation} L_{fl}=\left\{ \begin{array}{cl} -\alpha(1 - y^{'})^{\gamma}logy^{'} ,& y = 1 \\ -(1 - \alpha)y^{'\gamma}log(1 - y^{'}), & y = 0 \\ \end{array} \right. \end{equation}
其中,y' 是经过激活函数的输出,取值在 0-1 之间。它是在原始交叉熵损失的基础上增加了调制系数 与平衡因子 。当 时,其损失函数与交叉熵损失的对比见上图。
从上图可以看到:当 时,调整系数 赋予易分类样本损失一个更小的权重,使网络更关注困难的、错分的样本。调整因子 用于调节简单样本权重降低的速率: 时即为交叉熵损失函数; 增大时,调整因子的影响也随之增大。实验发现 是最优值。平衡因子 用来平衡正负样本本身的比例不均,论文中 取 0.25。
1.2 从 Focal Loss 到 Focal-CTC
对于经典的 CTC 算法,假设某个特征序列 经过 CTC 解码之后结果等于 label 的概率为 ,则 CTC 解码结果不等于 label 的概率即为 。不难发现,CTCLoss 值与 存在如下关系:
结合 Focal Loss 的思想——赋予困难样本较大的权重、简单样本较小的权重,可使网络更加聚焦于困难样本的挖掘,进一步提升识别准确率。由此 PaddleOCR 提出了 Focal-CTC Loss,其定义如下:
实验中 取值为 2、。也就是说,一个样本的 CTC loss 越大(即解码结果越不确定、越困难), 越接近 1,权重保持较大;反之 CTC loss 越小(简单样本),调制因子迅速衰减,权重被压低。
1.3 源码实现
Focal-CTC 的实现位于 ppocr/losses/rec_ctc_loss.py。CTCLoss 类通过 use_focal_loss 开关控制是否启用 Focal 调制,其核心逻辑如下:
- 底层调用
nn.CTCLoss(blank=0, reduction="none"),先得到每个样本的原始 CTC loss(不做 reduce); - 当
use_focal_loss=True时,将原始 loss 代入weight = exp(-loss),再计算weight = 1 - weight并取平方,得到 形式的调制因子; - 最后
loss = loss * weight并做mean()归约,返回{"loss": loss}。
从源码可以看出, 意味着调制因子仅包含 一项,不额外引入类别平衡项,这是 CTC 序列任务与目标检测任务在样本分布上的差异所决定的。
2. A-CTC Loss:以 ACE Loss 做辅助监督的多任务学习
2.1 ACE Loss 的优势
A-CTC Loss 是 CTC Loss + ACE Loss 的简称。其中 ACE Loss 出自论文《Aggregation Cross-Entropy for Sequence Recognition》。与 CTCLoss 相比,ACE Loss 主要有两点优势:
- ACE Loss 能够解决 2-D 文本的识别问题;CTCLoss 只能处理 1-D 文本;
- ACE Loss 在时间复杂度和空间复杂度上优于 CTC Loss。
上图总结了前人对各类 OCR 识别算法的优劣对比。虽然 ACE Loss 如上图所述可以处理 2D 预测,且在内存占用与推理速度方面具备优势,但在实践中发现,单独使用 ACE Loss 的识别效果并不如 CTCLoss。因此 PaddleOCR 团队尝试将 CTCLoss 与 ACELoss 结合,以 CTCLoss 为主、ACELoss 作为辅助监督 loss——这一多任务学习方案收到了效果:在内部实验数据集上,相比单独使用 CTCLoss,识别准确率可提升约 1%。
2.2 公式与超参
A-CTC Loss 定义如下:
实验中 。ACE loss 实现代码见 ppocr/losses/ace_loss.py。
2.3 源码实现
在 ppocr/losses/ace_loss.py 中,ACELoss 的实现思路是:
- 对预测结果在类别维度做
softmax; - 沿时间维度(axis=1)对概率做聚合求和,并除以时间步数
N得到聚合分布aggregation_preds; - 将 label(
batch[3])也按时间步归一化(首位置填充div - length表示 blank/多余部分); - 使用
soft_label=True的CrossEntropyLoss计算聚合分布与归一化标签之间的损失,返回{"loss_ace": loss}。
这种"先聚合时间维、再算交叉熵"的做法绕开了 CTC 的前向-后向对齐算法,使得损失可以天然适配 2D 预测,同时计算复杂度更低,作为辅助监督信号可以弥补 CTC 主损失在长序列上的不足。
3. C-CTC Loss:以 Center Loss 拉大类间距离
3.1 中文识别的痛点与 Center Loss
C-CTC Loss 是 CTC Loss + Center Loss 的简称。其中 Center Loss 出自论文《A Discriminative Feature Learning Approach for Deep Face Recognition》,最早用于人脸识别任务,用于增大类间距离、减小类内距离,是度量学习(Metric Learning)领域一种较早且常用的算法。
在中文 OCR 识别任务中,通过对 badcase 分析发现:中文识别的一大难点是相似字符多、容易误识。由此想到借鉴度量学习的思想增大相似字符的类间距,从而提高识别准确率。但需要注意的是:度量学习主要用于图像识别领域,训练数据的标签是固定值;而 OCR 识别本质上是序列识别任务,特征与 label 之间并不存在显式的对齐关系,因此两者如何结合是一个值得探索的方向。
PaddleOCR 团队尝试了 Arcmargin、Cosmargin 等方法,最终发现 CenterLoss 有助于进一步提升识别准确率。C-CTC Loss 定义如下:
实验中设置 。Center Loss 实现代码见 ppocr/losses/center_loss.py。
3.2 Center 的初始化:随机初始化无效
值得一提的是,在 C-CTC Loss 中,选择随机初始化 Center 并不能带来明显提升。PaddleOCR 采用的 Center 初始化方法如下:
- 基于原始的 CTCLoss,训练得到一个网络 N;
- 挑选出训练集中识别完全正确的部分,组成集合 G;
- 将 G 中的每个样本送入网络进行前向计算,提取最后一个 FC 层的输入(即 feature)及其经过 argmax 计算的结果(即 index)之间的对应关系;
- 将相同 index 的 feature 进行聚合,计算平均值,得到各自字符的初始 center。
3.3 使用 export_center.py 提取 Center
以配置文件 configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec.yml 为例,Center 提取命令如下:
python tools/export_center.py -c configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec.yml -o Global.pretrained_model="./output/rec_mobile_pp-OCRv2/best_accuracy"
运行完成后,会在 PaddleOCR 主目录下生成 train_center.pkl。
从 tools/export_center.py 的源码可以看到该流程的具体实现:
- 先用
build_dataloader(config, "Eval", ...)构建数据加载器,并将 Eval 数据集指向训练集(config["Eval"]["dataset"]["name"] = config["Train"]["dataset"]["name"]等),确保用训练数据计算 Center; - 关键步骤是设置
config["Architecture"]["Head"]["return_feats"] = True,让 CTCHead 在输出预测的同时返回 FC 层输入的特征; - 通过
build_model构建模型并用load_model加载预训练权重; - 调用
program.get_center(model, eval_dataloader, post_process_class)聚合特征,计算每个字符的平均特征作为初始 Center; - 最后序列化到
train_center.pkl。
在 ppocr/losses/center_loss.py 中,CenterLoss.__init__ 默认用 paddle.randn([num_classes, feat_dim]) 初始化 centers;当传入 center_file_path 时,会校验文件存在性并从 pkl 中逐键加载覆盖对应索引的 center。前向计算时,将特征 reshape 为 [-1, feat_dim],对预测做 argmax 得到伪标签,再通过平方展开计算特征与各 center 之间的 L2 距离矩阵,用 mask 选出对应类别的距离并求均值,返回 {"loss_center": loss}——整体逻辑即为"拉近特征与其所属类别 center 的距离"。
4. 统一融合方案 EnhancedCTCLoss
将上述三种思路统一融合即为 EnhancedCTCLoss,统一实现见 ppocr/losses/rec_enhanced_ctc_loss.py。
EnhancedCTCLoss 继承自 nn.Layer,构造参数与含义如下:
| 参数 | 默认值 | 含义 |
|---|---|---|
use_focal_loss |
False |
是否启用 Focal-CTC 调制(难例挖掘) |
use_ace_loss |
False |
是否叠加 ACE Loss 辅助监督(多任务学习) |
ace_loss_weight |
0.1 |
ACE Loss 的权重 |
use_center_loss |
False |
是否叠加 Center Loss(度量学习) |
center_loss_weight |
0.05 |
Center Loss 的权重 |
num_classes |
6625 |
类别数(字符集大小),Center 矩阵的行数 |
feat_dim |
96 |
特征维度(FC 层输入维度),Center 矩阵的列数 |
init_center |
False |
是否使用预提取的 Center 初始化 |
center_file_path |
None |
train_center.pkl 的路径 |
在前向 __call__ 中,总损失按如下顺序累加:
loss = L_CTC
+ center_loss_weight * L_center (若 use_center_loss)
+ ace_loss_weight * L_ace (若 use_ace_loss)
最终返回 {"enhanced_ctc_loss": loss}。注意 CTCLoss 与 CenterLoss 之间共享同一个 CTCHead 的特征输出,CenterLoss 要求 predicts 为 (features, predicts) 的元组形式,这正是配置中需要打开 return_feats: true 的原因。
仓库中已经提供了一套完整可用的组合配置:configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec_enhanced_ctc_loss.yml。与基础版配置相比,它主要做了以下改动:
Head下新增return_feats: true,使 CTCHead 同时输出特征与预测,供 CenterLoss 使用;Loss由单个CTCLoss改为CombinedLoss,其中CTCLoss的use_focal_loss: false、weight: 1.0;CenterLoss的weight: 0.05、num_classes: 6625、feat_dim: 96,center_file_path留空(填入上一步生成的train_center.pkl路径即可使用预提取 Center);- 配置中还以注释形式保留了 ACE Loss 的接入方式(
ACELoss权重 0.1),便于在自有数据集上尝试三路融合; Train.dataset.transforms中的KeepKeys.keep_keys增加了label_ace字段,用于在启用 ACE Loss 时提供聚合标签;- 输出目录相应改为
./output/rec_mobile_pp-OCRv2_enhanced_ctc_loss。
5. 实验结论与使用建议
对于上述三种方案,PaddleOCR 团队基于百度内部数据集进行了训练与评测,实验结果如下表所示:
| algorithm | Focal_CTC | A_CTC | C-CTC |
|---|---|---|---|
| gain | +0.3% | +0.7% | +1.7% |
基于上述实验结论,PP-OCRv2 采用了 C-CTC 策略。值得说明的是:PP-OCRv2 处理的是 6625 个中文字符 的识别任务,字符集较大、形似字较多,因此 C-CTC 方案在该任务上带来的提升较大;但若切换到其他 OCR 识别任务,结论可能会有所不同。
建议读者结合自身任务特点做针对性尝试:
- 难例较多、长尾样本明显的任务:优先尝试 Focal-CTC(
use_focal_loss: true),它几乎零成本接入,只需要在 CTCLoss 上打开开关; - 希望引入 2D 监督信息或加速收敛的任务:尝试叠加 ACE Loss(
use_ace_loss: true,ace_loss_weight: 0.1),但需注意单独使用 ACELoss 效果不及 CTCLoss,务必保持 CTC 为主; - 字符集大、相似字符多的中文/多语言任务:优先尝试 C-CTC(
use_center_loss: true),并严格按照"先训 CTCLoss 基线 → 用tools/export_center.py提取 Center → 用train_center.pkl初始化再训练"的三步流程执行,随机初始化 Center 不会带来明显收益; - 追求极限精度:可尝试三者组合的 EnhancedCTC 方案,并以 ch_PP-OCRv2_rec_enhanced_ctc_loss.yml 为模板,在自己的数据集上分别调节
center_loss_weight、ace_loss_weight与 Focal 的 超参。
由于不同任务的字符集规模、形似字密度与数据分布差异较大,建议以基线 CTCLoss 为参照,在验证集上对比各方案的准确率增益,选择最适合自身业务的组合。

