PaddleNLP DuIE 关系抽取基线实战:结构化标注策略与 LIC2021 SPO 抽取完整复现
PaddleNLP DuIE 关系抽取基线实战:结构化标注策略与 LIC2021 SPO 抽取完整复现
信息抽取(Information Extraction, IE)旨在从非结构化自然语言文本中提取实体、关系、事件等结构化知识。本文以 PaddleNLP 仓库中的 DuIE 示例 为主线,讲解 LIC2021 DuIE2.0 关系抽取任务的基线方案:如何把"多条、交叠的 SPO 三元组抽取"转化为序列标注任务、如何设计 2N+2 标签的结构化标注策略,以及从构建模型、加载数据、训练到提交预测结果的完整流程。读完本文,你可以复现该基线(验证集 F1 约 69.42),并理解标签空间、数据预处理、损失计算与结果解码各处的实现细节。
一、任务背景:DuIE2.0 关系抽取与 SPO 抽取
给定一句自然语言文本,关系抽取的目标是根据预先定义的 schema 集合,抽取出所有满足 schema 约束的 SPO(Subject-Predicate-Object)三元组:schema 定义了关系 P 及其对应主体 S、客体 O 的类别。与常规单标签实体识别不同,DuIE2.0 任务的核心难点在于:
- 多条 SPO:同一句中可能存在多条满足约束的三元组;
- 交叠 SPO:不同三元组的实体 span 可能交叠,甚至同一 token 既属于主体又属于客体(如"张三创立了张三科技");
- 复杂 O 值:客体可能是一个带多个槽位的结构化对象(如"获奖"包含获奖奖项、作品、时间等槽位),评测时要求所有槽位都精确匹配才算正确。
针对这些特点,基线系统基于预训练语言模型 ERNIE 设计了结构化的标注策略,将任务建模为序列标注问题。
二、示例目录结构与文件职责
DuIE 示例位于 slm/examples/information_extraction/DuIE,主要文件及职责如下:
DuIE/
├── data_loader.py # 数据加载与预处理
├── extract_chinese_and_punct.py # 中文/标点文本切分工具
├── README.md # 文档说明
├── re_official_evaluation.py # 比赛官方评价脚本
├── run_duie.py # 模型训练与预测主脚本
├── train.sh # 训练启动脚本
├── predict.sh # 预测启动脚本
└── utils.py # 解码与评测效能函数
其中 data/ 目录还包含两个关键的 schema 映射文件:data/predicate2id.json 定义标签名到标签 ID 的映射,data/id2spo.json 记录每个 ID 对应的 predicate 名称、主体类型与客体类型(含 @value 及 inWork、onDate 等复合槽位),两者共同构成解码阶段的 schema 字典。
三、结构化标注策略:2N+2 标签体系
比赛对标准的 'BIO' 标注进行了扩展。对于每个 token,根据其在实体 span 中的位置(B、I、O 三种),打上对应标签;并且根据 token 所参与构建的 predicate 种类进一步细分 B 标签。给定 schema 集合,对于 N 种 predicate 以及头实体/尾实体两种情况,共设计 2N 种 B 标签,再合并 I 和 O 标签,每个 token 一共有 2N+2 个标签:
- 标签 0(O):token 不属于任何实体;
- 标签 1(I):token 处于某个实体 span 的内部(跨关系共享,不区分关系类型);
- 标签 2 ~ N+1:简单关系的主体 B 标签,每个 predicate 占一个;
- 标签 N+2 ~ 2N+1:对应关系的客体 B 标签,与主体标签一一偏移。
从 data_loader.py 的 parse_label 函数可以看到这一偏移量的具体实现:客体标签 ID 固定等于主体标签 ID 加 55(label_object = label_subject + 55),这是因为本数据集共有 55 个 predicate(标签 2~56),标签 0、1 被 O 和 I 占用。run_duie.py 中总标签数由此推导:
num_classes = (len(label_map.keys()) - 2) * 2 + 2
即 predicate2id.json 中共 57 个 key(O、I 加 55 个 predicate),故模型输出层为 112 维的多标签 logits。由于是逐 token 的多标签分类,同一 token 可同时命中多个 B 标签,从源码结构看这正是支持"交叠 SPO"的关键。
parse_label 中还有一段值得注意的交叠实体处理逻辑:当同一句中主体与客体 span 可能重叠时,实现上先标注更长的实体,再用"禁标区间"(forbidden_index)限制较短实体只匹配在区间之外的位置,防止单个 token 被标注进两个冲突的实体 span(例如 "xyz 创立了 xyz 公司" 这类样例)。
四、评价方法
对测试集上系统输出的 SPO 与人工标注的 SPO 进行精准匹配,采用 F1 作为评价指标:
- 对于复杂 O 值类型的 SPO,必须所有槽位都精确匹配才算抽取正确;
- 针对文本中实体别名问题,可使用百度知识图谱的别名词典(alias_file)辅助评测。
F1 的计算方式:
F1 = (2 * P * R) / (P + R)
P = 测试集所有句子中预测正确的 SPO 个数 / 测试集所有句子中预测出的 SPO 个数
R = 测试集所有句子中预测正确的 SPO 个数 / 测试集所有句子中人工标注的 SPO 个数
仓库中的 re_official_evaluation.py 即比赛评价脚本的实现。从源码可以看到它在匹配前做了归一化与去重:del_bookname 会去掉实体名两侧的"《》"书名号并转小写(_parse_structured_ovalue);del_duplicate 借助别名词典去掉同义重复三元组;_is_equal_o 对结构化客体做槽位级双向比对(键集合与每个槽位值都需相等,值允许走别名等价)。这与"复杂 O 值必须全部槽位精确匹配"的评测口径一致。
五、Step 1:构建序列标注模型
该任务可看作序列标注任务,基线采用 ERNIE 序列标注模型。PaddleNLP 通过 AutoModelForTokenClassification 一键加载预训练模型并指定分类头维度,通过 AutoTokenizer 完成文本 token 化、转 token ID 与长度截断/填充:
from paddlenlp.transformers import AutoModelForTokenClassification, AutoTokenizer
model = AutoModelForTokenClassification.from_pretrained("ernie-3.0-medium-zh", num_classes=(len(label_map) - 2) * 2 + 2)
tokenizer = AutoTokenizer.from_pretrained("ernie-3.0-medium-zh")
文本数据直接调用 tokenizer 即可得到模型输入:
inputs = tokenizer(text="请输入测试样例", max_seq_len=20)
# {'input_ids': [1, 647, 789, 109, 558, 525, 314, 656, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
# 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
# 'seq_len': 9}
run_duie.py 中的对应实现是:
label_map_path = os.path.join(args.data_path, "predicate2id.json")
with open(label_map_path, "r", encoding="utf8") as fp:
label_map = json.load(fp)
num_classes = (len(label_map.keys()) - 2) * 2 + 2
model = AutoModelForTokenClassification.from_pretrained("ernie-3.0-medium-zh", num_classes=num_classes)
model = paddle.DataParallel(model)
tokenizer = AutoTokenizer.from_pretrained("ernie-3.0-medium-zh")
注意 num_classes 不是硬编码的,而是从数据集同目录下的 predicate2id.json 动态推导——更换 schema 时无需改动模型构建代码。
六、Step 2:加载并处理数据集
训练数据需要从比赛官网下载,解压后存放于 data/ 目录并重命名为 train_data.json、dev_data.json、test_data.json。每个文件为一行一个 JSON 对象的 JSONL 格式,包含 text 字段(预测时还有 spo_list 字段)。
基线通过继承 paddle.io.Dataset 自定义 DuIEDataset,只需实现 __getitem__ 与 __len__(见 data_loader.py 第 197~250 行):
train_dataset = DuIEDataset.from_file(
os.path.join(args.data_path, 'train_data.json'),
tokenizer,
args.max_seq_length,
True)
test_dataset = DuIEDataset.from_file(
os.path.join(args.data_path, 'dev_data.json'),
tokenizer,
args.max_seq_length,
True)
from_file 会顺带读取同目录下的 predicate2id.json 作为 label_map,并逐行读取数据集。相比直接用 tokenizer 处理,DuIEDataset 在 convert_example_to_feature 中做了两件对关系抽取至关重要的事:
- 中文感知的细粒度切分:调用 extract_chinese_and_punct.py 中的
ChineseAndPunctuationExtractor。该类基于 Unicode 区间构建正则,把文本切分为"单个汉字/单个标点"与"连续的英文、数字串"两类单元(后者整串参与 tokenizer 切分),避免英文词被逐字符拆开; - token 到原文字符的索引映射:为每个 sub-token 记录
tok_to_orig_start_index/tok_to_orig_end_index,指向原文的字符偏移。这是解码阶段把 sub-word 序列还原为完整实体字符串的依据(如 tokenizer 把"获奖"切成多个 sub-token 时,仍能用原文切片拼回完整实体)。
__getitem__ 返回的字段为:input_ids、seq_lens、tok_to_orig_start_index、tok_to_orig_end_index、labels(float32 的多标签矩阵)。[CLS]、[SEP]、[PAD] 位置统一标注为 O 标签(第 0 维为 1),序列不足 max_seq_length 时用 O 标签补齐,保证 batch 内可直接 np.stack(由 data_loader.py 中的 DataCollator 完成堆叠)。
七、Step 3:损失函数、优化器与启动训练
README 提到基线"选择均方误差作为损失函数";而从 run_duie.py 的实际实现看,损失函数是带掩码的二元交叉熵:
class BCELossForDuIE(nn.Layer):
def __init__(self):
super(BCELossForDuIE, self).__init__()
self.criterion = nn.BCEWithLogitsLoss(reduction="none")
def forward(self, logits, labels, mask):
loss = self.criterion(logits, labels)
mask = paddle.cast(mask, "float32")
loss = loss * mask.unsqueeze(-1)
loss = paddle.sum(loss.mean(axis=2), axis=1) / paddle.sum(mask, axis=1)
loss = loss.mean()
return loss
这里 mask 由 (input_ids != 0) & (input_ids != 1) & (input_ids != 2) 生成,即剔除 [PAD]、[CLS]、[SEP] 三个特殊 token;先对每个 token 的 112 维 logits 求均值,再按句子有效长度加权平均,保证不同长度的句子损失权重一致。这种逐位独立的多标签 BCE 恰好适配"同一 token 可属于多个实体"的场景。
优化器使用 paddle.optimizer.AdamW,配合 PaddleNLP 提供的 LinearDecayWithWarmup 学习率调度;权重衰减只作用于非 bias、非 LayerNorm 的参数:
lr_scheduler = LinearDecayWithWarmup(args.learning_rate, num_training_steps, args.warmup_ratio)
decay_params = [p.name for n, p in model.named_parameters() if not any(nd in n for nd in ["bias", "norm"])]
optimizer = paddle.optimizer.AdamW(
learning_rate=lr_scheduler,
parameters=model.parameters(),
weight_decay=args.weight_decay,
apply_decay_param_fun=lambda x: x in decay_params,
)
训练主循环每 50 步打印一次 loss 与速度,每 10000 步(save_steps = 10000)在验证集上跑一次评测并保存 checkpoint 到 checkpoints/ 下的 model_{step}.pdparams;训练结束后还会对最终模型做一轮评测并落盘。
run_duie.py 支持的命令行参数(含默认值)如下:
| 参数 | 默认值 | 说明 |
|---|---|---|
--do_train / --do_predict |
False | 选择训练或预测模式 |
--init_checkpoint |
None | 预测时加载的参数文件路径 |
--data_path |
./data |
数据目录,需包含训练/验证 json 与 predicate2id.json |
--predict_data_file |
./data/test_data.json |
预测数据文件 |
--output_dir |
./checkpoints |
checkpoint 输出目录 |
--max_seq_length |
128 | 序列最大长度,超长截断、不足补齐 |
--batch_size |
8 | 每张卡的 batch size |
--learning_rate |
5e-5 | 初始学习率 |
--weight_decay |
0.0 | 权重衰减系数 |
--num_train_epochs |
3 | 训练轮数 |
--warmup_ratio |
0 | 线性 warmup 占总步数比例 |
--seed |
42 | 随机种子(random/numpy/paddle 统一设置) |
--device |
gpu | 训练设备,可选 cpu / gpu |
启动训练:
sh train.sh
train.sh 的具体配置为:BATCH_SIZE=8、LR=2e-5、EPOCH=12、warmup_ratio=0.06、max_seq_length=128,并通过 python -m paddle.distributed.launch --gpus "0" 启动(脚本中先 unset CUDA_VISIBLE_DEVICES 保证 launch 器能指定 GPU):
export BATCH_SIZE=8
export LR=2e-5
export EPOCH=12
unset CUDA_VISIBLE_DEVICES
python -m paddle.distributed.launch --gpus "0" run_duie.py \
--device gpu \
--seed 42 \
--do_train \
--data_path ./data \
--max_seq_length 128 \
--batch_size $BATCH_SIZE \
--num_train_epochs $EPOCH \
--learning_rate $LR \
--warmup_ratio 0.06 \
--output_dir ./checkpoints
训练过程中模型保存在当前目录 checkpoints 文件夹下,同时在训练的同时使用官方评测脚本进行评估,输出 P/R/F1 指标。在验证集上,该基线 F1 可以达到 69.42。
八、Step 4:预测与提交结果
将训练保存的模型加载后进行预测:
sh predict.sh
predict.sh 的关键配置是加载训练产出的 checkpoint(示例中为 ./checkpoints/model_90000.pdparams,对应 90000 步保存点),以较大的 BATCH_SIZE=64 对 ./data/test1.json 做预测:
export CUDA_VISIBLE_DEVICES=0
export BATCH_SIZE=64
export CKPT=./checkpoints/model_90000.pdparams
export DATASET_FILE=./data/test1.json
python run_duie.py \
--do_predict \
--init_checkpoint $CKPT \
--predict_data_file $DATASET_FILE \
--max_seq_length 128 \
--batch_size $BATCH_SIZE
预测模式复用了训练阶段的 evaluate 函数,区别在于 mode="predict" 时不删除中间结果文件,而是把格式化输出写入 data/predictions.json 并压缩为 data/predictions.json.zip,格式与原数据集文件一致,可直接提交评测网站。
解码逻辑集中在 utils.py 的 decoding 函数中,可以概括为三步:
- 二值化:对 sigmoid 后的 logits 取 0.5 阈值(
logits[logits >= 0.5] = 1),并切掉[CLS]/[SEP]对应的位置; - 实体召回:
find_entity找到某 predicate 的 B 标签位置后,向后连续吸收带 I 标签(第 1 维为 1)的 token,再用tok_to_orig_*_index在原文上切片还原实体字符串(同句同一 predicate 的多个实体用list(set(...))去重); - SPO 组装:主体 ID 范围为
1 < id <= 56且其对应的客体标签(id + 55)也出现在预测中时才构成合法 SPO;普通关系直接输出subject/object.@value;对复杂关系(标签 8/10/26/32/46,即"上映时间、饰演、获奖、配音、票房")还会检查相邻的附属关系标签(9、11、27~29、33、47),把inWork、onDate、period等附加槽位合并进object字典,最终结合id2spo.json中的predicate、subject_type、object_type名称输出与数据集同构的 JSON。
之后可以使用官方评估脚本评估模型在 dev_data.json 上的效果:
python re_official_evaluation.py --golden_file=dev_data.json --predict_file=predictions.json.zip [--alias_file alias_dict]
输出指标为 Precision、Recall 和 F1。--alias_file 包含合法的实体别名,最终评测时会使用(脚本默认不提供)。utils.py 中的 get_precision_recall_f1 也是以子进程方式调用该脚本并解析其 JSON 输出的,说明训练循环中的在线评测与离线评测共用同一套口径。
九、进阶:更换更强的预训练底座
基线采用的预训练模型为 ERNIE,而 PaddleNLP 提供了丰富的预训练模型(BERT、RoBERTa、Electra、XLNet 等)。以 RoBERTa large 中文模型为例,只需更换模型和 tokenizer 即可无缝衔接:
from paddlenlp.transformers import RobertaForTokenClassification, RobertaTokenizer
model = RobertaForTokenClassification.from_pretrained(
"roberta-wwm-ext-large",
num_classes=(len(label_map) - 2) * 2 + 2)
tokenizer = RobertaTokenizer.from_pretrained("roberta-wwm-ext-large")
由于数据管线中的 token 化、原文索引映射、标签构造都只依赖 tokenizer 接口(_tokenize 与 convert_tokens_to_ids),替换底座后 DuIEDataset、DataCollator、解码与评测代码均无需改动——这也是把任务抽象成"序列标注 + 自定义解码"带来的工程收益。
十、小结与延伸阅读
本文围绕 PaddleNLP 的 DuIE 示例,梳理了关系抽取基线的完整技术链路:
- 标注层面:2N+2 结构化标签(55 个 predicate 对应 112 维输出)让一个序列标注模型原生支持多条、交叠 SPO;
- 数据层面:
DuIEDataset通过中文感知切分与 token→原文字符索引,解决 sub-word 对齐和实体字符串还原问题; - 训练层面:掩码 BCE 损失 + AdamW +
LinearDecayWithWarmup,每 10000 步在线评测并保存 checkpoint; - 解码与评测层面:0.5 阈值二值化、I 标签连读还原实体、复杂关系槽位合并,配合官方评测脚本的槽位级精确匹配(含别名等价)完成 P/R/F1 计算。
相关文件路径供进一步深入:
- 训练与预测主脚本:slm/examples/information_extraction/DuIE/run_duie.py
- 数据集与标签构造:slm/examples/information_extraction/DuIE/data_loader.py
- 解码与评测工具:slm/examples/information_extraction/DuIE/utils.py
- 官方评价脚本:slm/examples/information_extraction/DuIE/re_official_evaluation.py
- 中文切分工具:slm/examples/information_extraction/DuIE/extract_chinese_and_punct.py
- schema 映射:data/predicate2id.json、data/id2spo.json
学术上可参考的原始资料为 DuIE: A Large-scale Chinese Dataset for Information Extraction(CCF EV 论文),它定义了该数据集的任务形式与 schema 设计。
