PaddleNLP DuEE 事件抽取实战:基于 ERNIE 的触发词-论元 Pipeline 基线复现与优化
PaddleNLP DuEE 事件抽取实战:基于 ERNIE 的触发词-论元 Pipeline 基线复现与优化
本文以 PaddleNLP 仓库中的 LIC2021 DuEE 事件抽取示例为主线,完整讲解如何从零复现 DuEE-Fin(篇章级)与 DuEE 1.0(句子级)事件抽取基线:从原始数据预处理、BIO 序列标注的触发词/论元模型构建,到 ERNIE 微调训练、预测结果后处理与提交格式生成。读完后,你可以掌握"数据准备 → 三模型训练 → 结果合并提交"的完整事件抽取工程链路,并了解各超参数与脚本参数在源码中的实际作用,便于替换更强预训练模型做进阶优化。
一、任务背景与示例目录结构
信息抽取旨在从非结构化自然语言文本中提取结构化知识,如实体、关系、事件等。事件抽取的目标是:对于给定的自然语言句子,根据预先指定的事件类型(event_type)和论元角色(role),识别句子中所有目标事件类型的事件,并根据相应的论元角色集合抽取事件所对应的论元。其中目标事件类型和论元角色限定了抽取的范围,例如:
- (event_type:胜负,role:时间,胜者,败者,赛事名称)
- (event_type:夺冠,role:夺冠事件,夺冠赛事,冠军)
该示例位于仓库的 slm/examples/information_extraction/DuEE/ 目录,是 PaddleNLP 用于复现 LIC2021 事件抽取比赛基线并进阶优化基线的完整工程。目录结构及各文件职责如下(继承自 README):
DuEE/
├── classifier.py # 文本分类训练脚本
├── duee_1_data_prepare.py # 句子级事件抽取数据预处理
├── duee_1_postprocess.py # 句子级事件抽取数据后处理
├── duee_fin_data_prepare.py # 篇章级事件抽取数据预处理
├── duee_fin_postprocess.py # 篇章级事件抽取数据后处理
├── README.md # 文档说明
├── run_classifier.sh # 文本分类训练启动脚本
├── run_duee_1.sh # 句子级事件抽取启动脚本
├── run_duee_fin.sh # 篇章级事件抽取启动脚本
├── run_sequence_labeling.sh # 序列标注训练启动脚本
├── sequence_labeling.py # 序列标注训练脚本
└── utils.py # 效能函数
其中 run_duee_fin.sh / run_duee_1.sh 是统一入口,通过第一个位置参数(data_prepare、trigger_train、trigger_predict、role_train、role_predict、enum_train、enum_predict、pred_2_submit)分发到不同处理阶段;sequence_labeling.py 与 classifier.py 是实际执行训练/预测的 Python 入口。
二、篇章级事件抽取基线(DuEE-Fin)
篇章级事件抽取数据集(DuEE-Fin)是金融领域篇章级别事件抽取数据集,共包含 13 个已定义好的事件类型约束和 1.15 万中文篇章(存在部分非目标篇章作为负样例),其中 6900 训练集、1150 验证集和 3450 测试集。
在该数据集上,基线采用基于 ERNIE 的序列标注(sequence labeling)方案,由三个子模型组成,属于 Pipeline 模型:
- 基于序列标注的触发词抽取模型:采用 BIO 方式,识别触发词的位置以及对应的事件类型;
- 基于序列标注的论元抽取模型:采用 BIO 方式识别出事件中的论元以及对应的论元角色;
- 枚举属性分类模型:针对枚举型论元(如"公司上市"事件中的"环节"角色),采用 ERNIE 文本分类模型进行分类。
2.1 评测方法
本任务采用预测论元 F1 值作为评价指标。对于每个篇章,采用不放回的方式给每个目标事件寻找最相似的预测事件(事件级别匹配),搜寻方式是优先寻找与目标事件的事件类型相同且角色和论元正确数量最多的预测事件:
f1_score = (2 * P * R) / (P + R),其中
- 预测论元正确 = 事件类型和角色相同且论元正确
- P = 预测论元正确数量 / 所有预测论元的数量
- R = 预测论元正确数量 / 所有人工标注论元的数量
2.2 Step1:数据预处理并加载
从比赛官网下载数据集后,需逐层解压存放于 data/DuEE-fin 目录下,然后运行以下脚本将原始数据预处理成序列标注格式数据:
sh run_duee_fin.sh data_prepare
该命令实际调用 duee_fin_data_prepare.py,处理完成后的数据组织如下:
- 触发词识别数据文件存放在
data/DuEE-Fin/trigger下; - 论元角色识别数据文件存放在
data/DuEE-Fin/role下; - 枚举分类数据存放在
data/DuEE-Fin/enum下; - 事件 schema 生成的标签字典写入
conf/DuEE-Fin/(trigger_tag.dict、role_tag.dict、enum_tag.dict)。
源码层面的预处理逻辑(见 duee_fin_data_prepare.py)可分为两级:
- 篇章切分(
docs_data_process→marked_doc_2_sentence):将篇章按句子切分后,以 3 句为一组(step = 3)并用空格拼接,若篇章有标题则将标题单独作为一组;再用 MD5 为每组句子计算sent_id,并通过定位触发词在哪些句子中出现,把篇章级事件标注迁移到句子粒度,输出data/DuEE-Fin/sentence/{train,dev,test}.json。 - BIO 标注生成(
data_process):trigger模式:整句初始化为"O"标签,对每个事件的trigger_start_index到触发词末尾,首字打B-{event_type}、其余打I-{event_type}(见 label_data 函数);无事件的篇章会被跳过;role模式:对每个事件的所有论元(跳过枚举角色"环节")在整句上打B-{role}/I-{role}标签,每个事件生成一行样本;enum模式(enum_data_process):只保留"公司上市"事件类型中"环节"角色的论元,生成label\ttext格式的分类数据(枚举项如 筹备上市、暂停上市、正式上市、终止上市 等来自 schema 的enum_items)。
文本与标签之间使用制表符分隔,字符级序列使用 \002 作为字间分隔符。训练时通过继承 paddle.io.Dataset 自定义数据集类加载数据,sequence_labeling.py 中的 DuEventExtraction 已完成 __getitem__ 和 __len__ 的实现:
train_ds = DuEventExtraction(args.train_data, args.tag_path)
dev_ds = DuEventExtraction(args.dev_data, args.tag_path)
test_ds = DuEventExtraction(args.test_data, args.tag_path)
DuEventExtraction 会解析 TSV 首行表头、按 \002 拆出字序列与标签序列,并根据标签字典构建 label_vocab;你也可以参照这一实现方式继承 paddle.io.Dataset 来加载自己的自定义数据集。
2.3 Step2:构建模型
触发词抽取模型是整体模型的一部分:给定事件类型,识别句子中出现的事件触发词对应的位置以及对应的事件类别。它是基于 ERNIE 开发的序列标注模型,输入篇章句子、经 ERNIE 编码后在分类头上输出每个字的 BIO 事件类型标签。
论元抽取模型同样基于 ERNIE 序列标注,用于识别事件中的论元以及对应论元角色。例如模型会为论元"新东方"分配标签 B-收购方、I-收购方、I-收购方,为论元"东方优播"分配标签 B-被收购方、I-被收购方、I-被收购方、I-被收购方,最终识别出论元角色和论元对 <收购方,新东方>、<被收购方,东方优播>。
PaddleNLP 提供了 ERNIE 预训练模型的常用序列标注模型,通过指定模型名字即可一键加载(sequence_labeling.py 中即如此使用):
from paddlenlp.transformers import AutoModelForTokenClassification
model = AutoModelForTokenClassification.from_pretrained("ernie-3.0-medium-zh", num_classes=len(label_map))
枚举属性分类模型针对枚举角色类型"环节",对给定文本进行分类,得到不同类别上的概率,例如:筹备上市(0.8)、暂停上市(0.02)、正式上市(0.15)、终止上市(0.03)。
同样,PaddleNLP 提供了 ERNIE 预训练模型的常用文本分类模型(classifier.py 中即如此使用):
from paddlenlp.transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained("ernie-3.0-medium-zh", num_classes=len(label_map))
2.4 Step3:数据处理
我们需要将原始数据处理成模型可读入的数据。PaddleNLP 内置了各个预训练模型对应的 Tokenizer,可以完成文本 token 化、转 token ID、文本长度截断等操作,与加载模型类似可以一键加载:
from paddlenlp.transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("ernie-3.0-medium-zh")
文本数据处理直接调用 tokenizer 即可输出模型所需输入数据:
inputs = tokenizer(text="请输入测试样例", max_seq_len=20)
# {'input_ids': [1, 647, 789, 109, 558, 525, 314, 656, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
# 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
# 'seq_len': 9}
在 sequence_labeling.py 的 convert_example_to_feature 中,训练样本经过 tokenizer 编码后,标签序列会在首尾各补一个 O 标签(与 [CLS]/[SEP] 对齐),并在 max_seq_len - 2 处截断,保证标签与输入字一一对应。
2.5 Step4:定义损失函数和优化器,开始训练
在该基线上,损失函数选择交叉熵,优化器使用 paddle.optimizer.AdamW。从 sequence_labeling.py 源码可以看到具体实现:AdamW 对 bias 和 LayerNorm 参数豁免权重衰减,CrossEntropyLoss 设置 ignore_index=-1 忽略 padding 位置;验证指标使用 paddle 的 ChunkEvaluator 计算字级 P/R/F1。枚举分类模型 classifier.py 则采用普通的交叉熵 + Accuracy 指标。
基线默认超参数定义在 run_duee_fin.sh 中,训练/预测通过 run_sequence_labeling.sh 与 run_classifier.sh 透传给 Python 入口:
| 参数 | 默认值 | 说明 |
|---|---|---|
learning_rate |
5e-5 | 微调学习率(--learning_rate) |
max_seq_len |
300 | 最大序列长度(--max_seq_len) |
batch_size |
16 | 批大小(--batch_size) |
epoch |
20 | 训练轮数(--num_epoch) |
--weight_decay |
0.01 | AdamW 权重衰减,bias/norm 豁免 |
--skip_step |
10 | 训练日志打印间隔 |
--valid_step |
50 | 验证间隔;验证 F1 更优时保存 best.pdparams |
--device |
gpu | 训练设备,可选 cpu / gpu |
训练阶段使用 python -m paddle.distributed.launch --gpus "0" 启动(支持多卡 DataParallel),预测阶段则直接在单卡上运行并加载 best.pdparams 权重。启动命令如下:
# 触发词识别模型训练
sh run_duee_fin.sh trigger_train
# 触发词识别预测
sh run_duee_fin.sh trigger_predict
# 论元识别模型训练
sh run_duee_fin.sh role_train
# 论元识别预测
sh run_duee_fin.sh role_predict
# 枚举分类模型训练
sh run_duee_fin.sh enum_train
# 枚举分类预测
sh run_duee_fin.sh enum_predict
每个子模型训练完的预测结果统一保存为 ckpt/DuEE-Fin/{trigger,role,enum}/test_pred.json,其中序列标注模型输出每个字的预测标签及概率({"probs": <a href="https://link.gitcode.com/i/60e883d1c897d8f155f5fb22e99b19e6" target="_blank">...], "labels": [...]}),分类模型输出各枚举项概率与最优标签(见 [do_predict)。
2.6 Step5:数据后处理,提交结果
按照比赛预测指定格式提交结果至评测网站。运行:
sh run_duee_fin.sh pred_2_submit
该命令调用 duee_fin_postprocess.py,结果存放于 submit/test_duee_fin.json。从源码看,后处理流程为:
- 分别加载 trigger、role、enum 三个模型的预测文件与
conf/DuEE-Fin/event_schema.json; - 用
extract_result将字符级 BIO 预测还原为连续实体片段; - 以
id\tsent_id为键对齐 role/enum 预测结果,按触发词预测出的事件类型,只保留该事件类型在 schema 中定义的论元角色;对"公司上市"事件额外把枚举模型预测的"环节"论元附加进去(见 predict_data_process); - 按篇章
id聚合句子级事件,并做事件归一化:去除同事件内的重复(role, argument)对,并按事件类型相同、论元集合被完全包含的规则去重(见 event_normalization),最终输出符合比赛提交格式的 JSON Lines。
三、句子级事件抽取基线(DuEE 1.0)
句子级通用领域的事件抽取数据集(DuEE 1.0)上的基线模型同样采用基于 ERNIE 的序列标注方案,分为触发词抽取模型和论元抽取模型两个子模型,属于 Pipeline 模型:触发词模型用 BIO 识别触发词位置及事件类型,论元模型用 BIO 识别论元及论元角色。模型和数据处理方式与篇章级事件抽取相同,差别在于句子级任务无枚举角色分类,因此没有 enum 子模型和对应的分类阶段。
启动训练:
# 训练触发词识别模型
sh run_duee_1.sh trigger_train
# 触发词识别预测
sh run_duee_1.sh trigger_predict
# 论元识别模型训练
sh run_duee_1.sh role_train
# 论元识别预测
sh run_duee_1.sh role_predict
# 数据后处理,提交预测结果
# 结果存放于submit/test_duee_1.json
sh run_duee_1.sh pred_2_submit
数据由 duee_1_data_prepare.py 预处理(原始测试数据文件为 data/DuEE1.0/duee_test1.json),后处理由 duee_1_postprocess.py 完成,与 Fin 版本相比省去 enum 文件参数(见 run_duee_1.sh 的 pred_2_submit 分支)。
3.1 评测方法
事件论元结果与人工标注的事件论元结果进行匹配,按字级别匹配 F1 打分,不区分大小写;如论元有多个表述,则取多个匹配 F1 中的最高值:
f1_score = (2 * P * R) / (P + R),其中
- P = 预测论元得分总和 / 所有预测论元的数量
- R = 预测论元得分总和 / 所有人工标注论元的数量
- 预测论元得分 = 事件类型是否准确 * 论元角色是否准确 * 字级别匹配 F1 值
- 字级别匹配 F1 值 = 2 * 字级别匹配 P 值 * 字级别匹配 R 值 / (字级别匹配 P 值 + 字级别匹配 R 值)
- 字级别匹配 P 值 = 预测论元和人工标注论元共有字的数量 / 预测论元字数
- 字级别匹配 R 值 = 预测论元和人工标注论元共有字的数量 / 人工标注论元字数
四、进阶优化基线效果
基线采用的预训练模型为 ERNIE(ernie-3.0-medium-zh),而 PaddleNLP 提供了丰富的预训练模型,如 BERT、RoBERTa、Electra、XLNet 等。由于模型与 tokenizer 均通过 Auto API / 显式类名加载,切换底座模型即可无缝衔接。例如选择 RoBERTa large 中文模型优化效果,只需更换模型和 tokenizer:
from paddlenlp.transformers import RobertaForTokenClassification, RobertaTokenizer
model = RobertaForTokenClassification.from_pretrained("roberta-wwm-ext-large", num_classes=len(label_map))
tokenizer = RobertaTokenizer.from_pretrained("roberta-wwm-ext-large")
对应地,需要修改 sequence_labeling.py 与 classifier.py 中 AutoModelForTokenClassification / AutoModelForSequenceClassification / AutoTokenizer 的加载调用(各出现于训练与预测两处),同时可按新模型词表调整 max_seq_len 等超参数重新训练。
五、Reference
- DuEE: A Large-Scale Dataset for Chinese Event Extraction in Real-World Scenarios
- 相关实现:sequence_labeling.py、classifier.py、duee_fin_data_prepare.py、duee_fin_postprocess.py、run_duee_fin.sh、run_duee_1.sh



