X-AnyLabeling 关键信息抽取(KIE)标注实战:SER 实体识别与 RE 关系抽取完整工作流
X-AnyLabeling 关键信息抽取(KIE)标注实战:SER 实体识别与 RE 关系抽取完整工作流
关键信息抽取(Key Information Extraction,KIE)是 OCR 场景中最具落地价值的任务之一:它不是简单地把图像里的文字识别出来,而是要从票据、身份证、申请表等文档图像中定位并抽取"有意义"的字段,比如从身份证上取出姓名和身份证号、从申请表中匹配"问题—答案"对。X-AnyLabeling 通过标注形状(shape)、实体类别(label)、分组(group_id)与链接(linking)的组合,完整支持 KIE 的两大子任务——语义实体识别(SER)与关系抽取(RE),并可直接导出为 PaddleOCR(PP-OCR)KIE 训练格式。读完本文,你将掌握:在 X-AnyLabeling 中用矩形/旋转框/多边形完成 SER 标注、用 group_id 与 linking 完成 RE 关系链接、通过 Ctrl+E 标签管理器批量修正字段,以及将标注结果导出为 PP-OCR KIE 数据集(class_list.txt + ppocr_kie.json)的全过程,并结合仓库源码理解每一步背后的实现机制。
一、KIE 是什么:SER 与 RE 两个子任务
KIE(关键信息抽取)的目标是从图像中提取关键信息。抽取的信息类型通常与具体任务强相关,不同任务之间差异很大——例如证件照任务抽取姓名和证件号,表单任务抽取机构名称、业务类型等字段。
从任务粒度上,KIE 通常被划分为两个子任务:
- 语义实体识别(Semantic Entity Recognition,SER):识别并分类图像中的文本区域。例如把一张申请表上的文字按语义打上"问题(QUESTION)""答案(ANSWER)""标题(HEADER)""其他(OTHER)"等类别标签。
- 关系抽取(Relation Extraction,RE):对已检测出的文本进行分类(例如区分问题与答案),并识别它们之间的关系,典型场景是把问题与其对应的答案匹配起来,形成"问题→答案"的关联。
在 X-AnyLabeling 中,SER 对应的是给每个文本形状打实体类别标签,RE 则依赖两个额外的字段:group_id(分组编号)与 linking(链接关系)。下文分别讲解。
二、SER 标注:三种绘制方式与字段填写
SER 任务的核心是"框出文本 + 打上实体类别"。在 X-AnyLabeling 画布上,可以通过以下三种工具标注文本区域:
| 工具 | 快捷键 | 说明 |
|---|---|---|
| 矩形(Rectangle) | R |
围绕文本区域绘制矩形框,适合规则排版的文本行 |
| 旋转框(Rotation) | O |
用旋转矩形标注文本区域,适合倾斜的文本行 |
| 多边形(Polygon) | P |
支持"四点框"或"不规则多边形"标注,适合弯曲、倾斜或不规则边界的文本区域 |
绘制完成后,在标签编辑对话框(右侧标签面板)中填写以下字段:
label(实体类别):文本区域的实体类型。例如 XFUND 正是按此顺序定义:OTHER HEADER ANSWER QUESTIONdescription(文本内容):该文本区域的具体文字内容。注意这里的description与"图像级描述"不同,它是形状级的字段,存储该文本框识别出的原文。difficult(困难样本标记):通过useDifficult复选框切换。勾选后该对象被标记为"难以识别",对应导出数据中的difficult字段。
从源码看,这三个控件都定义在标签对话框中:anylabeling/views/labeling/widgets/label_dialog.py 中的 edit_difficult = QtWidgets.QCheckBox(self.tr("useDifficult"))、edit_description = QtWidgets.QTextEdit()(占位文本为 "Label description"),以及 edit_group_id(Group ID 输入框)。也就是说,label、description、difficult、group_id、linking 这些字段在 GUI 层都有对应的输入控件。
三、RE 标注:group_id 与 linking 的关系链接
RE 任务在 SER 字段的基础上,还需要填写两个额外字段:
group_id:图像内每个文本框的唯一标识编号。它既用于将文本按语义分组,也作为 linking 引用的"锚点"。linking:将问题与对应答案链接起来,链接通过group_id相互引用,例如[[31, 51], [31, 86]]表示 group 31(问题"特别提示:")分别与 group 51、86(两条答案文本)存在关系。
在 examples/optical_character_recognition/key_information_extraction/sources/zh_train_0.json 中可以看到真实的标注样例:
{
"version": "2.4.0",
"shapes": [
{
"kie_linking": [],
"label": "other",
"points": [[104.0, 114.0], [530.0, 114.0], [530.0, 175.0], [104.0, 175.0]],
"group_id": 1,
"description": "汇丰晋信",
"difficult": false,
"shape_type": "rectangle"
},
{
"kie_linking": [[7, 13]],
"label": "question",
"points": [[126.0, 267.0], [266.0, 267.0], [266.0, 305.0], [126.0, 305.0]],
"group_id": 7,
"description": "受理时间:",
"difficult": false,
"shape_type": "rectangle"
},
{
"kie_linking": [[7, 13]],
"label": "answer",
"points": [[321.0, 239.0], [537.0, 239.0], [537.0, 285.0], [321.0, 285.0]],
"group_id": 13,
"description": "2020.6.15",
"difficult": false,
"shape_type": "rectangle"
}
]
}
上例中,group 7(问题"受理时间:")与 group 13(答案"2020.6.15")通过 kie_linking: <a href="https://link.gitcode.com/i/6a471ff19b8f2453963e78c57301a7d3" target="_blank">[7, 13]] 建立了"问题→答案"的链接关系,两侧形状的 kie_linking 均记录该关系。标注源图像为 [sources/zh_train_0.jpg,是一份 2480×3508 的中文机构开户申请表,全文共 100 余个文本区域,适合用来练习完整的 KIE 标注流程。
linking 的输入格式在 GUI 层有严格校验。在 label_dialog.py 的 add_linking_pair 方法中,输入会被 ast.literal_eval 解析,并要求必须是长度为 2、元素全部为整数的列表(如 <a href="https://link.gitcode.com/i/7b6e33f5fba67815ce3f8fb99fc45d81" target="_blank">1,2]),否则弹出 "Please enter a valid list of linking pairs like [1,2]." 的警告;重复的链接对也会被拦截("This linking pair already exists.")。对应的单元测试 [tests/test_labeling/test_kie_linking.py 验证了 kie_linking 接受形如 [[1, 2], [3, 4]] 的整数对,同时拒绝字符串注入、三元组、浮点数、布尔值等非法数据——这说明链接关系的格式约束不仅在 UI 层,在 Shape.load_from_dict 的反序列化层同样生效。
四、修改字段:Ctrl+E 打开标签管理器
如果标注完成后需要修正上述任一字段,可以使用快捷键 Ctrl+E 打开标签管理器(label manager),在弹出的对话框中集中调整。在 anylabeling/views/labeling/label_widget.py 中可以看到快捷键 shortcuts<a href="https://link.gitcode.com/i/946c02ed80160d13261d8f62bca596cd" target="_blank">"edit_group_id"] 的绑定,以及标签对话框中 Group ID、useDifficult、Description、Linking 等控件的读写逻辑——修改后 shape.group_id 与 shape.kie_linking 会被同步写回形状对象,并在 [Shape 中持久化到标注文件。
需要说明的是:Ctrl+E 的入口与 Group ID 编辑共享同一标签管理器,因此它不仅适合修改 group_id,也适合批量检查 label、description、difficult 与 linking。官方用户指南 docs/en/user_guide.md(中文版见 docs/zh_cn/user_guide.md)在"标签编辑"一节列出的完整字段表与本流程一致:Shape Label(类别,支持模糊搜索)、Group ID(分组编号)、Difficult(困难标记)、Label List(标签列表)、Description(形状描述)、Label Linking(用于 KIE 等任务的形状链接)、Attributes(自定义属性)。
五、导出 PP-OCR KIE 格式:class_list.txt 与 ppocr_kie.json
完成标注后,通过菜单 Export Annotations > Export PPOCR Annotations 选择 KIE 任务即可导出。根据 docs/en/user_guide.md 第 4.7 节"PPOCR Format"的说明,KIE 导出默认输出到 ppocr-kie 子文件夹,包含两个文件:
class_list.txt:KIE 实体类别列表(每行一个类别);ppocr_kie.json:KIE 标注结果(包含文本区域坐标与 linking 链接关系)。
导入反向流程同理:Import Annotations > Import PPOCR Annotations 中选择 KIE 任务与 kie.json 即可回灌标注。
仓库在 examples/optical_character_recognition/key_information_extraction/ppocr-kie/ 下提供了完整的导出样例,其中 ppocr_kie.json 的结构如下(节选):
[
{
"transcription": "汇丰晋信",
"label": "other",
"points": [[104, 114], [530, 114], [530, 175], [104, 175]],
"difficult": false,
"id": 1,
"linking": []
},
{
"transcription": "受理时间:",
"label": "question",
"points": [[126, 267], [266, 267], [266, 305], [126, 305]],
"difficult": false,
"id": 7,
"linking": [[7, 13]]
},
{
"transcription": "2020.6.15",
"label": "answer",
"points": [[321, 239], [537, 239], [537, 285], [321, 285]],
"difficult": false,
"id": 13,
"linking": [[7, 13]]
}
]
对比不难发现,X-AnyLabeling 内部格式与 PP-OCR KIE 格式是一一映射的:
| X-AnyLabeling 内部字段 | PP-OCR KIE 导出字段 | 说明 |
|---|---|---|
description |
transcription |
文本区域的具体文字 |
label |
label |
实体类别(如 question / answer / header / other) |
points |
points |
四点坐标 [[x1,y1],[x2,y2],[x3,y3],[x4,y4]] |
difficult |
difficult |
困难样本标记 |
group_id |
id |
文本框唯一编号 |
kie_linking |
linking |
关系链接,元素为 [from_id, to_id] 的整数对 |
导出的 ppocr_kie.json 为 JSON 数组,每项对应一个文本区域;linking 数组则完整保留了 RE 关系。该格式可直接用于训练 PP-OCR KIE 任务(例如 PP-OCRv4 / v5 的 SER+RE 流程),这也是本示例目录被放置在 examples/optical_character_recognition/key_information_extraction/ 下的原因——它与 PP-OCR 文档 中的 OCR 标注体系保持同一套数据协议。
六、从源码看 KIE 字段的完整生命周期
理解 KIE 标注背后的实现,可以让你的标注流程更可控。以 anylabeling/views/labeling/shape.py 和 docs/en/user_guide.md 中的 shape 字段表为线索,KIE 相关字段的生命周期如下:
- 绘制阶段:用
R/O/P创建矩形、旋转框或多边形形状; - 编辑阶段:在标签对话框中填写
label、description,勾选difficult(useDifficult),输入group_id,并通过 linking 输入框(格式[1,2])逐条添加关系对; - 持久化阶段:保存为 X-AnyLabeling 的 JSON 标注文件,形状携带
group_id、description、difficult、kie_linking等字段; - 导出阶段:PP-OCR KIE 导出器将上述字段映射为
id、transcription、label、points、difficult、linking,输出到ppocr-kie/class_list.txt与ppocr-kie/ppocr_kie.json。
值得注意的是,tests/test_labeling/test_kie_linking.py 的测试用例表明:kie_linking 的反序列化校验是防御性的,它会拒绝任何非整数对数据,防止脏数据混入标注文件;而 label_dialog.py 的 reset_linking 在回填时会自动去重。这些细节保证了从标注到训练数据的链路足够干净,避免下游 PP-OCR 训练器因畸形 linking 而报错。
七、小结
- SER 任务:用矩形(
R)、旋转框(O)、多边形(P)框出文本区域,填写label(实体类别)、description(文本内容)、difficult(useDifficult)。 - RE 任务:在 SER 基础上补充
group_id(唯一编号)与linking(问题—答案链接,通过 group_id 引用,格式为整数对列表)。 - 修正字段:
Ctrl+E打开标签管理器集中调整。 - 导出训练数据:
Export PPOCR Annotations选择 KIE 任务,得到class_list.txt(类别)与ppocr_kie.json(含 transcription、label、points、difficult、id、linking),可直接用于训练 PP-OCR KIE 任务。
完整的可复现样例位于 examples/optical_character_recognition/key_information_extraction/:sources/zh_train_0.jpg 是源图像,sources/zh_train_0.json 是 X-AnyLabeling 内部标注,ppocr-kie/ 是导出结果。建议按"打开源图 → 导入标注 → 逐框核对字段 → 导出 KIE"的顺序完整跑一遍,即可在自己的票据、证件类数据集上复刻这套 KIE 标注流程。
