PaddleNLP 千言-问题匹配鲁棒性评测:基于 ERNIE-Gram 与 R-Drop 的基线实战指南
PaddleNLP 千言-问题匹配鲁棒性评测:基于 ERNIE-Gram 与 R-Drop 的基线实战指南
本文以 PaddleNLP 仓库中 slm/examples/text_matching/question_matching 示例为主线,系统讲解 2021 CCF BDCI「千言-问题匹配鲁棒性评测」的基线方案:如何使用 ERNIE-Gram 预训练模型、结合 R-Drop 正则化策略搭建单塔 Point-wise 匹配模型,并给出完整的数据准备、训练、预测与提交评测流程。读完本文,你将掌握一套可复现、可扩展的问题匹配鲁棒性评测基线,并理解 R-Drop 的源码级实现原理。
赛题背景:为什么问题匹配需要「鲁棒性」评测
问题匹配(Question Matching)任务的目标是判断两个自然问句之间的语义是否等价,是自然语言处理领域的重要研究方向,同时在信息检索、智能客服等真实业务场景中具有很高的商业价值。
近年来,神经网络模型虽然在一些标准的问题匹配评测集合上已取得与人类相仿甚至超越人类的准确性,但在处理真实应用场景时性能会大幅下降——模型甚至会在人类很容易判断的简单问题上出错,既影响产品体验,也造成相应的经济损失。官方文档给出了四组典型失败样例:
| 问题1 | 问题2 | 标签(Label) | Model |
|---|---|---|---|
| 婴儿吃什么蔬菜好 | 婴儿吃什么绿色蔬菜好 |
0 | 1 |
关于牢房的电视剧 |
关于监狱的电视剧 |
1 | 0 |
心率过快有什么问题 |
心率过慢有什么问题 |
0 | 1 |
黑色裤子配什么上衣 |
黑色上衣配什么裤子 |
0 | 1 |
可以看出,真实场景中的问句往往带有口语化表达、错别字、近义词替换、词序调整等扰动,模型在标准同分布测试集上的高准确率并不能真实反映其在开放场景下的能力。
当前大多数问题匹配任务采用单一指标、在同分布的测试集上评测模型,这种评测方式可能夸大模型能力,且缺乏对模型鲁棒性的细粒度优劣势评估。本次评测正是聚焦于问题匹配模型在真实应用场景中的鲁棒性,从词汇理解、句法结构、错别字、口语化、对话理解五个维度检测模型能力,从而发现模型不足、推动语义匹配技术发展。竞赛基于千言数据集,采用了哈尔滨工业大学(深圳)的 LCQMC 和 BQ 数据集、OPPO 的小布对话短文本数据集以及百度的 DuQM 数据集,从多维度、多领域出发全面评价模型鲁棒性。
基线评测效果:ERNIE-Gram + R-Drop 方案
本项目分别基于 ERNIE-1.0、Bert-base-chinese、ERNIE-Gram 三个中文预训练模型训练了单塔 Point-wise 匹配模型,其中基于 ERNIE-Gram 的模型效果显著优于另外两个预训练模型。在此基础上,还在 ERNIE-Gram 之上评测了 R-Drop 正则化策略——该策略的核心思想是:对同 1 个训练样本多次前向网络得到的输出加上正则化的 Loss 约束,以稳定网络在不同 Dropout 随机路径下的输出分布。
官方开源了效果最好的 2 个策略对应的 checkpoint 作为竞赛基线方案:即 ERNIE-Gram 预训练模型、R-Drop 系数分别为 0.0 与 0.1 的两个模型,可下载模型复现评测结果。各基线在开发集与 Test-A/B 上的准确率如下:
| 模型 | rdrop_coef | dev acc | test-A acc | test-B acc |
|---|---|---|---|---|
| ernie-1.0-base | 0.0 | 86.96 | 76.20 | 77.50 |
| bert-base-chinese | 0.0 | 86.93 | 76.90 | 77.60 |
| ernie-gram-zh | 0.0 | 87.66 | 80.80 | 81.20 |
| ernie-gram-zh | 0.1 | 87.91 | 80.20 | 80.80 |
| ernie-gram-zh | 0.2 | 87.47 | 80.10 | 81.00 |
从表格可以看到:rdrop_coef=0.0 的 ERNIE-Gram 在 Test-A/Test-B 上取得最高准确率,而 rdrop_coef=0.1 在开发集上最优(87.91),说明 R-Drop 系数需要在开发集上细致调优。ERNIE-Gram 是百度提出的基于显式 n-gram 掩码的预训练模型,其模型配置定义可见于 paddlenlp/transformers/ernie_gram/configuration.py(其中包含 ernie-gram-zh 预训练权重入口)。
注意:仓库当前版本中
train.py/predict.py默认加载的预训练模型为ernie-3.0-medium-zh(见 train.py),如需复现 README 中基于 ERNIE-Gram 的基线结果,可将代码中的AutoModel.from_pretrained与AutoTokenizer.from_pretrained参数改为ernie-gram-zh。
代码结构说明
question_matching 示例的代码结构十分精简,四个 Python 文件各司其职:
question_matching/
├── model.py # 匹配模型组网
├── data.py # 训练样本的数据读取、转换逻辑
├── predict.py # 模型预测脚本,输出测试集的预测结果: 0,1
└── train.py # 模型训练评估
- model.py 定义
QuestionMatching网络:预训练模型 + Dropout + 二分类线性层,并内嵌 R-Drop 双前向 KL 损失计算; - data.py 负责从 TSV 文本读取句子对、构造 DataLoader,并提供
convert_example将文本转换为 token ids; - train.py 完成训练、验证集评估、checkpoint 保存与最优模型挑选;
- predict.py 加载训练好的参数对测试集逐批预测,输出 0/1 结果文件。
数据准备
本项目使用竞赛提供的 LCQMC、BQ、OPPO 这 3 个数据集的训练集合集作为训练集,使用这 3 个数据集的验证集合集作为验证集。运行如下命令生成项目所需的训练集与验证集(参赛时可探索其他训练/验证集组合,不必与基线完全一致):
cat ./data/train/LCQMC/train ./data/train/BQ/train ./data/train/OPPO/train > train.txt
cat ./data/train/LCQMC/dev ./data/train/BQ/dev ./data/train/OPPO/dev > dev.txt
训练集数据格式为 3 列:text_a \t text_b \t label,样例如下:
喜欢打篮球的男生喜欢什么样的女生 爱打篮球的男生喜欢什么样的女生 1
我手机丢了,我想换个手机 我想买个新手机,求推荐 1
大家觉得她好看吗 大家觉得跑男好看吗? 0
求秋色之空漫画全集 求秋色之空全集漫画 1
晚上睡觉带着耳机听音乐有什么害处吗? 孕妇可以戴耳机听音乐吗? 0
验证集数据格式与训练集相同:
开初婚未育证明怎么弄? 初婚未育情况证明怎么开? 1
谁知道她是网络美女吗? 爱情这杯酒谁喝都会醉是什么歌 0
男孩喝女孩的尿的故事 怎样才知道是生男孩还是女孩 0
这种图片是用什么软件制作的? 这种图片制作是用什么软件呢? 1
数据读取逻辑对应 data.py 中的 read_text_pair:按 \t 切分每行,非测试模式要求 3 列并产出 {"query1", "query2", "label"},测试模式则接受 2 列(无标签)。convert_example 调用 tokenizer 将 query1/query2 编码为 input_ids 与 token_type_ids(句对输入),训练时额外拼接 label。
模型训练
运行如下命令即可复现基于 ERNIE-Gram 的基线模型(4 卡 GPU 分布式训练):
$ unset CUDA_VISIBLE_DEVICES
python -u -m paddle.distributed.launch --gpus "0,1,2,3" train.py \
--train_set train.txt \
--dev_set dev.txt \
--device gpu \
--eval_step 100 \
--save_dir ./checkpoints \
--train_batch_size 32 \
--learning_rate 2E-5 \
--rdrop_coef 0.0
可配置参数说明
对应 train.py 中的 argparse 定义,常用参数如下:
| 参数 | 说明 | 默认值 |
|---|---|---|
train_set |
训练集文件路径(必填) | 无 |
dev_set |
验证集数据文件路径(必填) | 无 |
rdrop_coef |
R-Drop 正则化 KL-Loss 的系数;为 0.0 时不使用 R-Drop 策略 | 0.0 |
train_batch_size |
批处理大小,需结合显存调整,显存不足时适当调低 | 32 |
eval_batch_size |
验证/预测时的批大小 | 128 |
learning_rate |
Fine-tune 的最大学习率 | 5e-5 |
weight_decay |
控制正则项力度的参数,用于防止过拟合 | 0.0 |
epochs |
训练轮次 | 3 |
eval_step |
每隔多少训练 step 做一次验证集评估 | 100 |
save_step |
模型保存间隔 step 数 | 10000 |
max_seq_length |
token 化后最大输入序列长度,超出截断、不足补齐 | 256 |
max_steps |
若大于 0,指定总训练步数 | -1 |
warmup_proportion |
学习率 warmup 比例;如 0.1 表示前 10% 训练 step 中学习率从 0 线性增长到 learning_rate,之后缓慢衰减 | 0.0 |
init_from_ckpt |
模型参数路径,用于热启动/恢复模型训练 | None |
seed |
随机种子 | 1000 |
device |
训练设备,可选 cpu 或 gpu;使用 gpu 时通过 --gpus 指定卡号 |
gpu |
训练流程(见 do_train):读取 train_set/dev_set → 加载预训练模型与 tokenizer → 构建 train/dev DataLoader → 初始化 QuestionMatching 模型 → 使用 AdamW 优化器(bias 与 LayerNorm 参数不做 weight decay)+ 带 warmup 的线性衰减学习率 → 每 eval_step 步在验证集上评估准确率。
其中 warmup 调度由 PaddleNLP 的 LinearDecayWithWarmup 实现:warmup 阶段学习率从 0 线性升至最大值,之后从最大值线性衰减至 0。
模型保存与最优模型选择
程序运行时自动进行训练与评估,并在训练过程中将模型保存到指定的 save_dir 中。每次在验证集上评估后,程序会比较当前指标是否优于历史最优:若优于则存储当前模型,否则不存储。因此训练结束后,模型存储路径下 step 数最大的模型对应验证集指标最高的模型,一般选择该模型进行预测。
保存目录结构示例:
checkpoints/
├── model_10000
│ ├── model_state.pdparams
│ ├── tokenizer_config.json
│ └── vocab.txt
└── ...
NOTE:如需恢复模型训练,可设置
init_from_ckpt,例如init_from_ckpt=checkpoints/model_100/model_state.pdparams。加载逻辑见 train.py:通过paddle.load读取 state dict 后调用model.set_dict注入。
R-Drop 的模型组网与损失计算原理
QuestionMatching 的前向逻辑(model.py)清晰体现了 R-Drop 的实现方式:
- 输入句子对经过预训练模型得到
cls_embedding1,经 Dropout 后由二分类线性层产出logits1; - 当
rdrop_coef > 0且非评估模式时,对同一输入再走一次前向,得到logits2,并计算kl_loss = RDropLoss(logits1, logits2); - 训练时总损失为交叉熵 +
kl_loss * rdrop_coef(见 train.py);评估时do_evaluate=True,跳过第二次前向,仅返回logits1。
对称 KL 损失由 PaddleNLP 的 RDropLoss 实现:对 p 取 log_softmax 与 q 的 softmax 计算 KL 散度,再反向计算一次,最终取两者均值 loss = (p_loss + q_loss) / 2。该损失约束两次带 Dropout 随机性的前向输出分布一致,从而降低模型对随机 Dropout 路径的敏感度、提升泛化与鲁棒性。
开始预测
训练完成后,在指定的 checkpoints 路径下会自动保存验证集评估指标最高的模型。运行如下命令生成预测结果:
$ unset CUDA_VISIBLE_DEVICES
python -u \
predict.py \
--device gpu \
--params_path "./checkpoints/model_10000/model_state.pdparams" \
--batch_size 128 \
--input_file "${test_set}" \
--result_file "predict_result"
其中 test_set 为竞赛测试集文件,其数据格式为 2 列(text_a \t text_b,无标签)。predict.py 会按批加载数据、逐批前向得到 logits(predict.py),随后 np.argmax(y_probs, axis=1) 取预测类别,逐行写入结果文件(每行一个 0 或 1)。输出预测结果示例:
0
1
0
1
提交进行评测
将生成的 predict_result 文件按照竞赛要求格式化命名后提交至评测平台,即可在 Test-A/Test-B 上获得与基线一致的评测结果,用于验证复现效果并进一步探索改进方案(如调整 R-Drop 系数、更换预训练模型、尝试多模型融合等)。
Reference
[1] Liang, Xiaobo, Lijun Wu, Juntao Li, Yue Wang, Qi Meng, Tao Qin, Wei Chen, Min Zhang, and Tie-Yan Liu. "R-Drop: Regularized Dropout for Neural Networks." ArXiv:2106.14448 [Cs], June 28, 2021.
进一步阅读与复现资源:模型组网可参考 model.py,数据转换逻辑见 data.py,训练与预测脚本分别为 train.py 与 predict.py,R-Drop 损失通用实现位于 paddlenlp/losses/rdrop.py。