PaddleNLP 文本信息抽取标注指南:基于 Label Studio 从数据标注到 UIE 训练数据构建

原创2026-09-24 15:29:332,188 阅读
文章标签:人工智能大模型NLP深度学习机器学习预训练微调LoRA模型量化模型推理服务强化学习分布式训练Embedding本地部署

PaddleNLP 文本信息抽取标注指南:基于 Label Studio 从数据标注到 UIE 训练数据构建

本指南基于 PaddleNLP 信息抽取应用(Universal Information Extraction,UIE)的完整开发链路,系统讲解如何使用开源标注工具 Label Studio] 完成文本类信息抽取任务(实体抽取、关系抽取、事件抽取、观点抽取与句子级分类)的标注,并通过仓库内 [label_studio.py 脚本将标注结果一键转换为 UIE 模型可直接训练的 train.txt / dev.txt / test.txt 数据。读完本文,你将掌握从"标注项目创建 → 标签体系设计 → 任务标注 → JSON 导出 → 训练数据转换"的全流程实操,并能正确配置 negative_ratio、splits、task_type、prompt_prefix、options、separator、schema_lang 等关键参数,为后续 UIE 少样本微调铺平数据基础。

1. 环境安装与 Label Studio 启动

标注环境需要满足以下版本要求(与当前仓库 label_studio.py 所配套的标注方案一致):

  • Python 3.8+
  • label-studio == 1.6.0
  • paddleocr >= 2.6.0.1(仅在涉及文档/图片标注时使用,纯文本标注可忽略)

在终端中通过 pip 安装指定版本的 label-studio:

pip install label-studio==1.6.0

安装完成后,执行如下命令启动服务:

label-studio start

随后在浏览器中打开 http://127.0.0.1:8080/,输入用户名和密码登录后即可开始创建标注项目。Label Studio 本身是一个基于 Web 的标注平台,支持文本、图像、音频等多种数据类型,本项目只用到其文本标注能力。

2. 标注项目创建与模板选型

登录后点击 Create 创建新项目,填写项目名称与描述。项目创建的关键在于根据目标任务类型选择对应的标注模板,模板直接决定了标注界面的交互方式,也会影响后续 label_studio.py 脚本对导出 JSON 的解析逻辑。

不同任务与模板的对应关系如下:

目标任务 选择的 Label Studio 模板
命名实体识别、关系抽取、事件抽取、观点抽取 Relation Extraction
文本分类、句子级情感分类 Text Classification
(文档场景下的目标检测式标注) Object Detection with Bounding Boxes

具体地:

  • 对于命名实体识别、关系抽取、事件抽取、观点抽取等抽取类任务,请选择 Relation Extraction 模板,因为这类任务既需要框选文本片段(实体),又需要为实体之间建立连线(关系),关系模板天然支持这两种操作。
  • 对于文本分类、句子级情感分类任务,请选择 Text Classification 模板,标注员只需为整条文本打一个类别即可。
  • 文档/图片场景的目标检测式标注(如增值税发票抽取)则需要选择 Object Detection with Bounding Boxes,本文聚焦纯文本场景,不展开。

模板选定后,需要定义标签(Define labels)。例如图中展示了实体类型标签的构建方式,其他类型标签的构建方法见下一节 3. 标签体系构建。标签名称将成为后续 schema(抽取目标 schema)的直接来源,因此建议在标注前认真规划标签命名。

3. 标签体系构建

标签体系的名称设计非常重要——label_studio.py 转换脚本会直接把标注中的标签名拼接到训练 prompt 中,因此标签命名应语义清晰、贴近真实业务术语。Label Studio 支持按数据类型构建三种标签体系。

3.1 实体标签(Entity label)

在 Relation Extraction 模板的标签设置中新增实体类型标签,例如 时间、选手、赛事名称、得分、武器名称 等。实体标签名就是 UIE 抽取 schema 中的实体类型名。

3.2 关系标签(Relation label)

关系标签用于描述两个实体之间的语义关系。Label Studio 中关系标签通过 XML 配置模板定义,典型的关系标签 XML 如下:

<Relations>
  <Relation value="Singer"/>
  <Relation value="Published"/>
  <Relation value="Album"/>
</Relations>

关系标签的命名同样会直接进入模型训练的 prompt 构造逻辑,命名时应同时考虑语义合理性与 prompt 语法通顺性(详见 5.2 关系抽取的 P 类型设置原则)。

3.3 分类标签(Classification label)

对于分类任务,在 Text Classification 模板中构建分类选项,例如情感分类的 正向 / 负向 两个选项。分类选项会通过 --options 参数传递给转换脚本,并自动拼装进训练 prompt。

4. 数据上传

在项目的数据导入页面,首先上传本地 txt 格式的文本文件,选择 List of tasks(任务列表)导入方式,即可将文本文件导入当前项目。每一条文本会作为一条独立的标注任务进入标注队列。

需要说明的是,Label Studio 会为导入的每条任务分配 data.text 字段,这正是转换脚本 process_text_tag 中读取 line<a href="https://link.gitcode.com/i/e5e0a27d80730398afae01cf72f68b19" target="_blank">"data"]["text"] 的依据(见 [paddlenlp/utils/tools.py)。

5. 任务标注实战:五类抽取任务的标注与 schema 设计

下面以仓库文档配套的标注示例为准,逐一说明每类任务的标注要点,以及与之对应的 UIE schema 写法。

5.1 实体抽取(Entity Extraction)

标注方式为在文本中框选实体片段并打上实体类型标签。标注示例对应的 schema 为:

schema = [
    '时间',
    '选手',
    '赛事名称',
    '得分'
]

注意:实体抽取的 schema 是一个一维列表,列表中的每一项就是实体类型标签名。

5.2 关系抽取(Relation Extraction)

关系抽取需要在标注两个实体后,从被框选的实体 A 连接到实体 B 并指定关系类型 P。标注示例对应的 schema 为:

schema = {
    '作品名': [
        '歌手',
        '发行时间',
        '所属专辑'
    ]
}

关系 P 类型的设置至关重要,必须遵循以下原则:"{P} of {S} is {O}" 需要能构成语义通顺的短语。例如对于三元组 (S, 父子, O),关系类别命名为"父子"本身没有语义问题,但按照 UIE 关系类型 prompt 的构造方式,"S 的父子是 O" 的表达不够通顺,因此更建议把 P 改为"孩子",即 "S 的孩子是 O"。合理的 P 类型设置会显著提升零样本(zero-shot)性能。

从源码看,关系 prompt 在中文下按 主语 + "的" + 谓词 构造(如 歌手 of 作品名 对应的中文 作品名的歌手),英文下按 谓词 + " of " + 主语 构造,具体见 paddlenlp/utils/tools.py。因此 P 的命名必须保证拼接后语义自然。

5.3 事件抽取(Event Extraction)

事件抽取通过"事件触发词 + 事件论元"的结构组织标签。标注示例对应的 schema 为:

schema = {
    '地震触发词': [
        '时间',
        '震级'
    ]
}

事件触发词(如"地震")作为 schema 的键,其论元(时间、震级)作为键对应的列表值,转换脚本会将其转化为逐阶段的关系抽取训练数据。

5.4 句子级分类(Sentence Level Classification)

句子级分类只需为整条句子选择一个类别。标注示例对应的 schema 为:

schema = '情感倾向[正向,负向]'

注意分类 schema 的写法是 提示前缀[选项1,选项2] 的字符串形式,与抽取任务的列表/字典形式不同。转换阶段会自动为这类任务构造训练 prompt。

5.5 观点抽取(Opinion Extraction)

观点抽取(评价维度级情感分类)将"评价维度 + 观点词 + 情感倾向"组织为嵌套结构。标注示例对应的 schema 为:

schema = {
    '评价维度': [
        '观点词',
        '情感倾向[正向,负向]'
    ]
}

其中评价维度实体承担主体角色,观点词和情感倾向作为其属性。转换脚本会为每个评价维度实体自动构造"xxx 的情感倾向 正向,负向]"式的实体级分类 prompt(见 [paddlenlp/utils/tools.py)。

6. 数据导出

完成标注后,回到标注任务列表,勾选已标注的文本 ID,将导出文件类型选择为 JSON 并导出数据。导出的 JSON 文件是后续数据转换脚本的唯一输入,其中每条记录包含 data.text(文本内容)与 annotations[0].result(标注结果数组)两部分。

在纯文本场景下,result 数组中元素类型为 labels 的表示实体标注(含 start_offset、end_offset、labels<a href="https://link.gitcode.com/i/aa619497493fa94e5d8509230e116b56" target="_blank">0] 字段),其余元素表示关系标注(含 from_id、to_id、labels[0] 字段);在分类场景下,result[0].value.choices 保存分类结果。这些字段的解析逻辑见 [paddlenlp/utils/tools.py。

7. 数据转换:将标注 JSON 转换为 UIE 训练数据

将导出的文件重命名为 label_studio.json 并放入 ./data 目录,然后通过同目录下的 label_studio.py 脚本转换为 UIE 的数据格式。该脚本位于信息抽取应用根目录,与本文标注指南同属一个完整流程(中文版说明见 label_studio_text.md,配套中文 README 见 README.md)。

7.1 抽取任务转换

python label_studio.py\
     --label_studio_file ./data/label_studio.json \
     --save_dir ./data \
     --splits 0.8 0.1 0.1 \
     --task_type ext

脚本执行后会在 save_dir(默认 ./data)下生成 train.txt、dev.txt、test.txt 三个文件,以及记录数据划分索引的 sample_index.json。每行是一条 JSON 格式的训练样本,字段结构为:

{"content": "原始文本", "result_list": [{"text": "抽取片段", "start": 起始位置, "end": 结束位置}], "prompt": "抽取目标 prompt"}

该字段结构正是 text/utils.py 中 reader() 读取训练数据所依赖的格式:content 为文本内容、prompt 为抽取目标、result_list 为标注结果位置。

7.2 句子级分类任务转换

对于句子级分类任务,数据转换阶段会自动为模型训练构造 prompt 信息。例如句子级情感分类的 prompt 形如 Sentiment Classification [positive, negative],可通过 prompt_prefix 和 options 参数配置:

python label_studio.py\
     --label_studio_file ./data/label_studio.json \
     --task_type cls \
     --save_dir ./data \
     --splits 0.8 0.1 0.1 \
     --prompt_prefix "Sentiment Classification" \
     --options "positive" "negative"

转换脚本会根据 prompt_prefix + "<a href="https://link.gitcode.com/i/090dc370a7a837a9a839feb59a6319be" target="_blank">" + ",".join(options) + "]" 自动拼接 prompt(见 [paddlenlp/utils/tools.py),并把分类选项在 prompt 中的位置作为标注结果写入 result_list,从而让 UIE 模型学习"在 prompt 中检索类别词"的任务范式。

7.3 观点抽取(实体级分类)转换

观点抽取属于抽取任务(task_type ext),但在数据转换阶段会为评价维度自动构造实体级的情感分类 prompt。例如某个评价维度 xxx 的 prompt 为 Sentiment Classification of xxx [positive, negative],同样通过 prompt_prefix 与 options 声明,并通过 separator 指定实体标签与分类标签之间的分隔符:

python label_studio.py\
     --label_studio_file ./data/label_studio.json \
     --task_type ext \
     --save_dir ./data \
     --splits 0.8 0.1 0.1 \
     --prompt_prefix "Sentiment Classification" \
     --options "positive" "negative" \
     --separator "##"

其中 separator 用于切分形如 评价维度##情感倾向 的复合标签:转换脚本通过 label.split(separator) 将实体标签与其分类子标签拆分,再为每个实体构造 实体名 + 的 + 提示前缀 + <a href="https://link.gitcode.com/i/e6b2859d2322e91fc82e9feeb4581f44" target="_blank">选项](中文)或 提示前缀 + of + 实体名 + [选项](英文)形式的实体级分类样本(见 [paddlenlp/utils/tools.py 与 paddlenlp/utils/tools.py)。

8. 参数全览:默认值与使用场景

label_studio.py 脚本的参数定义位于其 argparse 部分(label_studio.py),与文档配套的完整参数说明如下:

参数 说明 默认值
label_studio_file 从 Label Studio 平台导出的标注文件路径 ./data/label_studio.json
save_dir 训练数据的存储目录,默认存储在 data 目录 ./data
negative_ratio 最大负例比例,仅对抽取任务有效。合理构造负例可提升模型效果;负例数量与当前实际标签数相关,最大负例数 = negative_ratio × 正例数。该参数只对训练集生效,默认 5;为保证评估指标准确,验证集和测试集默认构造全量负例 5
splits 数据集划分比例,默认 [0.8, 0.1, 0.1],即按 8:1:1 划分为训练集、验证集、测试集;三者和必须为 1,否则脚本会抛出校验错误 [0.8, 0.1, 0.1]
task_type 任务类型,仅两种:ext(抽取任务)与 cls(分类任务) ext
options 分类任务的类别标签,仅对分类型任务有效 ["正向", "负向"]
prompt_prefix 分类任务的 prompt 前缀信息,仅对分类型任务有效 "情感倾向"
is_shuffle 是否随机打乱数据集 True
seed 随机种子 1000
schema_lang schema 的语言,决定训练数据 prompt 的构造方式,可选 ch 与 en ch
separator 实体类别/评价维度与分类标签之间的分隔符,仅对实体级/评价维度级分类任务有效 "##"
layout_analysis 是否启用版面分析以优化 OCR 结果排序,仅文档/图片标注场景使用 False
ocr_lang OCR 语言,可选 ch 与 en,仅文档/图片标注场景使用 ch

其中部分参数在源码中存在校验逻辑:

  • splits 的长度必须为 0 或 3,三元素之和必须精确等于 1,否则抛出 ValueError(见 label_studio.py);
  • 若 label_studio_file 路径不存在,脚本会直接报错提示输入正确路径(见 label_studio.py);
  • negative_ratio 与 splits 均为整数/浮点数值类型,is_shuffle 使用 strtobool 解析布尔字符串(见 label_studio.py)。

9. 转换脚本底层原理:从标注 JSON 到训练样本

深入阅读 label_studio.py 与底层转换类 DataConverter 的实现,可以完整还原转换流程:

(1)数据划分与打乱。 脚本先读取标注 JSON,若 is_shuffle=True 则按 np.random.permutation 打乱样本顺序,再按 splits 比例计算训练/验证/测试切分点,并将各集合的原始样本索引写入 sample_index.json,便于追溯(见 label_studio.py)。

(2)自动识别标注类型。 脚本通过判断首条样本的 data 是否包含 image 字段来决定 anno_type 是 image 还是 text,从而走不同的解析分支(见 label_studio.py)。

(3)结构化解析。 DataConverter.process_text_tag 将每条标注记录解析为 entities 与 relations 两类结构化结果(抽取任务),或 label(分类任务)(见 paddlenlp/utils/tools.py)。

(4)负样本构造。 这是提升模型效果的关键环节:

  • 对于实体抽取(第一阶段 prompt),add_entity_negative_example 会为每条样本构造"该样本中不存在的实体标签"作为负例,负例数量受 negative_ratio 约束(见 paddlenlp/utils/tools.py);
  • 对于关系抽取(第二阶段 prompt),训练集通过三类冗余构造负例——反方向关系(inverse_relation)、用非黄金主体与随机谓词拼接的 prompt、用黄金主体与错误标签拼接的 prompt,每类负例数量按 negative_ratio // 3 分配;验证集和测试集则通过 add_full_negative_example 构造全量负例以保证评估指标准确(见 paddlenlp/utils/tools.py);
  • 当 negative_ratio=-1 时,脚本会构造全部可用的冗余负例,不限制数量(见 paddlenlp/utils/tools.py)。

(5)输出。 最终按 {"content", "result_list", "prompt"} 结构逐行写出 train.txt、dev.txt、test.txt(见 label_studio.py)。

10. 从标注数据到 UIE 微调训练:完整链路衔接

转换出的 train.txt / dev.txt 可直接交给文本抽取微调脚本 finetune.py 使用,实现"标注 → 训练"的无缝衔接。文本抽取全流程示例见 text/README_en.md(中文版见 text/README.md)。典型训练命令如下:

python finetune.py  \
    --device gpu \
    --model_name_or_path uie-base \
    --output_dir ./checkpoint/model_best \
    --train_path data/train.txt \
    --dev_path data/dev.txt  \
    --max_seq_len 512  \
    --per_device_train_batch_size 16 \
    --per_device_eval_batch_size 16 \
    --num_train_epochs 20 \
    --learning_rate 1e-5 \
    --do_train --do_eval \
    --metric_for_best_model eval_f1 \
    --load_best_model_at_end True

训练数据在读取时会按 <a href="https://link.gitcode.com/i/f405089a8f3aeb3e2ef88c4dec1fcb72" target="_blank">CLS] Prompt [SEP] Content [SEP] 的方式拼接输入,max_seq_len 需要大于 len(prompt) + 3,超长文本会被自动切分并同步平移 result_list 中的位置标注(见 [text/utils.py)。因此,在标注阶段精心设计标签与关系 P 的名称,不仅影响标注效率,也会直接决定训练 prompt 的质量与模型最终效果。

PaddleNLP 的 UIE 模型系列(uie-base、uie-medium、uie-mini、uie-micro、uie-nano、uie-base-en、uie-m-base、uie-m-large、uie-x-base 等)以 ERNIE 3.0 轻量模型为底座,支持实体、关系、事件、观点抽取以及中英文与跨语言场景,具备很强的少样本(few-shot)微调能力,详见信息抽取应用总览 README_en.md(中文版 README.md)。

11. 使用注意事项

综合文档说明与脚本实现,转换数据时需注意以下几点:

  1. 默认情况下 label_studio.py 会按比例将数据划分为训练/验证/测试三个数据集;
  2. 每次执行 label_studio.py 都会覆盖同名的已有数据文件(train.txt、dev.txt、test.txt、sample_index.json),请注意备份或调整 save_dir;
  3. 模型训练阶段建议构造一些负例来提升模型性能,该功能已内置在数据转换阶段,负例比例由 negative_ratio 控制(负例数 = negative_ratio × 正例数);
  4. 从 Label Studio 导出的文件默认假定每条数据都已由人工正确标注,请勿混入未标注或标注不完整的任务;
  5. options、prompt_prefix、separator、schema_lang 等参数只在其对应任务类型下生效,跨任务类型误用时会被忽略,不会影响抽取类样本的构造。

参考与延伸阅读

登录后查看全文
PaddleNLP