PaddleOCR 常用中文数据集全指南:六大公开数据集详解、下载渠道与训练适配

原创2026-09-17 21:16:422,142 阅读
文章标签:OCR计算机视觉图像处理深度学习人工智能AI 技能MCP 服务CLI

PaddleOCR 常用中文数据集全指南:六大公开数据集详解、下载渠道与训练适配

中文场景下的 OCR 模型训练,数据质量与数据规模往往直接决定模型上限。本文以 PaddleOCR 官方整理的常用中文数据集清单为核心,逐一拆解 ICDAR2019-LSVT、ICDAR2017-RCTW-17、中文街景文字识别、中文文档文字识别、ICDAR2019-ArT 与电子印章数据集这六大数据集的规模、标注形态与适用任务,并延伸讲解数据合成/标注工具链、PaddleOCR 数据格式规范与训练配置接入方法,帮助你完成从"拿到数据"到"跑通训练"的完整闭环。

一、数据集总览

下表汇总了官方整理清单(见 datasets.en.md)中六个常用中文数据集的规模与核心特点:

数据集 规模 标注形态 典型用途
ICDAR2019-LSVT 45 万中文街景图像 5 万全标注(文本坐标+文本内容)+ 40 万弱标注(仅文本内容) 中文街景文本检测与识别
ICDAR2017-RCTW-17 12,000+ 图像 真实场景文本坐标与内容 野外场景中文检测
中文街景文字识别 29 万图片(21 万训练 / 8 万测试) 文字行级标注 街景文字行识别
中文文档文字识别 约 364 万图片(99:1 划分) 每样本固定 10 字符 印刷体/文档文字识别
ICDAR2019-ArT 10,166 图像(训练 5,603 / 测试 4,563) 任意形状文本(水平、多方向、弯曲) 任意形状文本检测
电子印章数据集 10,000 图像(训练 8,000 / 测试 2,000) 程序合成,印章弯曲文本 印章弯曲文本检测

该清单由社区持续维护更新,欢迎开发者贡献更多中文数据集。

二、ICDAR2019-LSVT:大规模中文街景文本

数据来源:AI Studio 数据集(aistudio.baidu.com 数据集详情页);下载渠道:百度 AI 开放平台 LSVT 数据集页面。

ICDAR2019-LSVT(Large-scale Street View Text)是 ICDAR 2019 官方大规模街景文本竞赛数据集,共包含 45 万张中文街景图像,其设计亮点在于"部分标注"(Partial Labeling)机制:

  • 全标注数据(5 万张):同时包含文本框坐标(text coordinates)与文本内容(text content),划分为 2 万测试 + 3 万训练;
  • 弱标注数据(40 万张):仅包含文本内容,无坐标信息,适合以弱监督方式扩充识别语料。

LSVT 全标注数据示例

(a)全标注数据

LSVT 弱标注数据示例

(b)弱标注数据

补充说明:依据中文版清单(datasets.md)中的提示,LSVT 测试集的 label 目前没有开源,如需评估结果,需前往 ICDAR 官方 RRC 平台(RRC-LSVT 赛题页)在线提交。

LSVT 同时是 40 万级中文街景数据规模的代表,是中文检测/识别模型预训练与评测的常用基准之一,其引用信息见文末参考文献。

三、ICDAR2017-RCTW-17:真实场景中文文本

数据来源与下载:RCTW-17 官方网站。

RCTW-17(Reading Chinese Text in the Wild)共包含 12,000+ 张图像,其数据特征非常"野生":

  • 大部分图片通过手机摄像头在野外采集,部分为屏幕截图;
  • 场景覆盖街景、海报、菜单、室内场景以及手机应用截图等多种形态;
  • 图像中的文本方向、光照、清晰度、字体风格差异大,对检测模型的泛化能力提出了较高要求。

RCTW-17 数据集示例

对于需要提升中文模型在真实采集场景下鲁棒性的场景,RCTW-17 是极具代表性的训练/评测数据。

四、中文街景文字识别:LSVT 行识别任务

数据来源:AI Studio 比赛/数据集页面(原 LSVT 行识别任务)。

该数据集共包含 29 万张图片,其中 21 万张作为训练集(带标注),8 万张作为测试集(无标注)。其构造方式值得关注:

  • 数据采自中国街景,由街景图片中的文字行区域(如店铺标牌、地标等)截取而来;
  • 所有图像经过预处理,利用仿射变换将文字区域等比映射为高度 48 像素的图片,统一了文字行的尺度,大幅降低了识别模型的尺度适配负担。

街景文字行识别示例一(标注:魅派集成吊顶)

(a)标注:魅派集成吊顶

街景文字行识别示例二(标注:母婴用品连锁)

(b)标注:母婴用品连锁

该数据集可直接作为中文文字识别(rec)任务的训练数据,其"文字行裁剪 + 统一高度"的处理思路也与 PaddleOCR 识别阶段对图像进行等比缩放、归一化高度的预处理逻辑一脉相承。

五、中文文档文字识别:chinese_ocr 合成文档数据集

数据来源:GitHub 上的 chinese_ocr 项目;下载渠道:百度网盘(含提取码)。

该数据集是程序化合成的中文文档文字识别数据,总规模约 364 万张图片,按 99:1 划分训练集与验证集。其合成规则非常明确:

  • 使用中文语料库(新闻 + 文言文),通过字体、大小、灰度、模糊、透视、拉伸等变化随机生成样本,覆盖丰富的版式与成像退化;
  • 字符集合包含汉字、英文字母、数字和标点共 5,990 个字符(字符表 char_std_5990.txt 随项目提供);
  • 每个样本固定 10 个字符,字符随机截取自语料库中的句子;
  • 图片分辨率统一为 280×32。

合成文档样本示例一

合成文档样本示例二

由于合成过程引入了透视、模糊等扰动,该数据集可用于训练对文档扫描、拍照场景鲁棒的中文识别模型;其 5,990 字符的字符集覆盖度也明显高于仅含常用汉字的小词表,有助于识别模型学习更完整的字形结构。

六、ICDAR2019-ArT:任意形状文本

数据来源:AI Studio 数据集;下载渠道:百度 AI 开放平台 ArT 数据集页面。

ArT(Arbitrary-Shaped Text)是 ICDAR 2019 鲁棒阅读挑战赛中面向任意形状文本的赛题数据,共 10,166 张图像,其中训练集 5,603 张、测试集 4,563 张。其数据由三部分融合而成:

  • Total-Text:弯曲/多向文本为主;
  • SCUT-CTW1500:长弯曲文本;
  • Baidu Curved Scene Text(ICDAR2019-LSVT 部分弯曲数据):百度提供的弯曲街景文本。

ArT 数据集示例

该数据集覆盖水平、多方向和弯曲等多种形状的文本,是训练 PaddleOCR 检测模型(如 DB 系列)在任意形状文本场景下能力的核心数据来源。结合 ocr_datasets.md 中对检测标注格式的说明,ArT 的多边形标注可直接转换为 PaddleOCR 四点坐标标注进行训练。

七、电子印章数据集:印章弯曲文本检测

数据来源与下载:AI Studio 数据集(数据集详情页)。

该数据集共 10,000 张图像,训练集 8,000 张、测试集 2,000 张,具有两个鲜明特点:

  • 程序合成、不涉及隐私安全:所有图像由程序生成,规避了真实印章数据涉及的单位信息与隐私风险;
  • 面向印章弯曲文本:主要用于印章场景下弯曲文本的训练与检测,是 PaddleOCR 印章识别/印章检测专项能力的配套数据。

该数据集由开发者 jingsongliujing 贡献,其"程序化合成规避隐私"的思路,对缺乏真实数据的中文垂直场景(印章、证照、票据等)具有很好的借鉴意义。

八、数据获取之外:合成与标注工具链

官方清单明确指出:除开源数据外,用户还可使用合成工具自行合成数据。清单中列出的常用合成工具包括:

  • text_renderer:基于文本渲染的合成工具(有新旧两个版本,新版本由 oh-my-ocr 维护);
  • SynthText:经典的场景文本合成工具,将文本自然嵌入自然图像;
  • TextRecognitionDataGenerator:灵活的文本行图像生成工具,支持多种字体、背景与干扰。

更完整的工具清单可参考仓库中的 数据合成工具文档,其中还补充了 Style-Text(PaddleOCR 配套的风格化文本合成工具)、SynthText_Chinese_version(中文版 SynthText)、SynthText3D、UnrealText、SynthTIGER 等工具,覆盖从简单文本行渲染到 3D 场景合成的不同合成强度。

对于自有数据,PaddleOCR 生态还提供了半自动标注工具 PPOCRLabel,以及 labelImg(矩形标注)、roLabelImg(旋转矩形标注)、labelme(四点/多边形/圆形标注)、VoTT(支持视频标注)等通用标注工具,详见 数据标注工具文档。结合合成数据与人工标注,可以快速搭建起中文 OCR 训练所需的标注数据流水线。

九、将公开数据集接入 PaddleOCR 训练:数据格式与配置

拿到上述数据集后,需要按照 PaddleOCR 规定的数据格式组织数据,才能被训练流程正确解析。相关格式规范详见 ocr_datasets.md,核心要点如下。

9.1 文本检测数据格式

检测任务的标注文件为 txt,每行包含图像文件名与 json.dumps 编码的标注信息,两者以 \t 分隔:

"图像文件名                    json.dumps编码的图像标注信息"
ch4_test_images/img_61.jpg    [{"transcription": "MASA", "points": [[310, 104], [416, 141], [418, 216], [312, 179]]}, {...}]
  • 编码前的标注信息是包含多个字典的 list;
  • 字典中的 points 表示文本框四个点的坐标 (x, y),从左上角开始顺时针排列;
  • transcription 表示文本框文字,当其内容为 "###" 时表示该文本框无效,训练时会被跳过。

如需在自己整理的数据集上训练,可按照上述形式构建标注文件。

9.2 文本识别数据格式

识别任务同样支持 txt 格式(另有 lmdb 格式,分别由 lmdb_dataset.py 与 simple_dataset.py 读取)。通用 txt 格式每行以 \t 分隔图片路径与标签:

"图像文件名                  图像标注信息"
train_data/rec/train/word_001.jpg   简单可依赖
train_data/rec/train/word_002.jpg   用科技让复杂的世界更简单

此外,PaddleOCR 还支持离线增广数据的标注形式:相同标签的多张图片路径可写在同一行并以列表形式给出,训练时随机选择其中一张,避免同一 batch 中重复采样:

["11.jpg", "12.jpg"]   简单可依赖
["21.jpg", "22.jpg", "23.jpg"]   用科技让复杂的世界更简单
3.jpg   ocr

9.3 官方标签格式转换工具

对于 ICDAR 等官方数据集,PaddleOCR 提供了格式转换脚本 gen_label.py,可将官网 label 转换为 PaddleOCR 支持的格式,以检测数据训练集为例:

# 将官网下载的标签文件转换为 train_icdar2015_label.txt
python gen_label.py --mode="det" --root_path="/path/to/icdar_c4_train_imgs/"  \
                    --input_path="/path/to/ch4_training_localization_transcription_gt" \
                    --output_label="/path/to/train_icdar2015_label.txt"

识别数据转换命令(来自 ocr_datasets.md):

# 将官网下载的标签文件转换为 rec_gt_label.txt
python gen_label.py --mode="rec" --input_path="{path/of/origin/label}" --output_label="rec_gt_label.txt"

从源码看,gen_label.py 通过 --mode(det / rec)、--root_path、--input_path、--output_label(默认 out_label.txt)等参数完成格式转换。

9.4 训练配置中的数据集接入

转换完成后,在训练配置文件中通过 data_dir 与 label_file_list 指定数据路径即可。以 PP-OCRv3_mobile_det.yml 为例:

Train:
  dataset:
    name: SimpleDataSet
    data_dir: ./train_data/icdar2015/text_localization/
    label_file_list:
      - ./train_data/icdar2015/text_localization/train_icdar2015_label.txt
    ratio_list: [1.0]
    # ... 后续为 DecodeImage / DetLabelEncode / IaaAugment 等数据变换
Eval:
  dataset:
    name: SimpleDataSet
    data_dir: ./train_data/icdar2015/text_localization/
    label_file_list:
      - ./train_data/icdar2015/text_localization/test_icdar2015_label.txt

训练数据的默认存放路径为 PaddleOCR/train_data。如果磁盘上已有数据集,只需创建软链接即可:

# linux and mac os
ln -sf <path/to/dataset> <path/to/paddle_ocr>/train_data/dataset
# windows
mklink /d <path/to/paddle_ocr>/train_data/dataset <path/to/dataset>

十、参考文献

ICDAR 2019-LSVT Challenge

@article{sun2019icdar,
  title={ICDAR 2019 Competition on Large-scale Street View Text with Partial Labeling--RRC-LSVT},
  author={Sun, Yipeng and Ni, Zihan and Chng, Chee-Kheng and Liu, Yuliang and Luo, Canjie and Ng, Chun Chet and Han, Junyu and Ding, Errui and Liu, Jingtuo and Karatzas, Dimosthenis and others},
  journal={arXiv preprint arXiv:1909.07741},
  year={2019}
}

ICDAR 2019-ArT Challenge

@article{chng2019icdar2019,
  title={ICDAR2019 Robust Reading Challenge on Arbitrary-Shaped Text (RRC-ArT)},
  author={Chng, Chee-Kheng and Liu, Yuliang and Sun, Yipeng and Ng, Chun Chet and Luo, Canjie and Ni, Zihan and Fang, ChuanMing and Zhang, Shuaitao and Han, Junyu and Ding, Errui and others},
  journal={arXiv preprint arXiv:1909.07145},
  year={2019}
}
登录后查看全文
PaddleOCR