BART 在 GLUE 任务上的微调实战:基于 unilm 仓库中 InfoXLM/fairseq 的句子分类训练与推理全流程
BART 在 GLUE 任务上的微调实战:基于 unilm 仓库中 InfoXLM/fairseq 的句子分类训练与推理全流程
本文以 README.glue.md 为核心脉络,系统讲解如何在 unilm 仓库内置的 fairseq 代码库中,将 BART(Denoising Sequence-to-Sequence 预训练模型)微调到 GLUE 基准测试的各个自然语言理解任务上,覆盖数据下载、预处理、超参数配置、训练命令与推理评估的完整闭环。读完本文,你将掌握 sentence_prediction 任务的使用方法、各 GLUE 子任务的推荐超参、以及如何用 BARTModel 加载 checkpoint 进行精度评测。
1. 任务背景:为什么用 BART 做 GLUE
GLUE(General Language Understanding Evaluation)是由 Wang et al. (2019) 提出的多任务自然语言理解基准,包含 MNLI、QNLI、QQP、RTE、SST-2、MRPC、CoLA、STS-B 八类子任务,涵盖蕴含推理、语义相似度、情感分析、语法可接受性判断等多种 NLU 能力。
BART 是一种去噪自编码器式的序列到序列预训练模型,其预训练目标是对被噪声破坏的文本进行重建。原文档指出,这种预训练目标更具通用性:在 README.md 的 GLUE 结果表中,bart.large(12 层编码器 + 12 层解码器,约 400M 参数)在 dev 集上的表现(如 MNLI 89.9、QNLI 94.9、QQP 92.5、RTE 87.0、SST-2 96.6、MRPC 90.4、CoLA 62.8、STS-B 91.2)能够与 RoBERTa 相匹敌,同时还在摘要生成、生成式问答、对话回复等生成任务上取得领先——这正是"一个预训练模型同时服务理解与生成"的体现。
在 unilm 仓库中,这份指南位于 infoxlm/fairseq/examples/bart/ 目录下,与 InfoXLM 所依赖的 fairseq 代码同源,因此其中的命令可直接在 infoxlm/fairseq 代码库中运行。
2. 第一步:从 GLUE 官网下载原始数据
微调的第一步是获取 GLUE 原始数据。原文档给出了两条命令:
wget https://gist.githubusercontent.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e/raw/17b8dd0d724281ed7c3b2aeeda662b92809aadd5/download_glue_data.py
python download_glue_data.py --data_dir glue_data --tasks all
说明要点:
- 该下载脚本会把各任务的原始
*.tsv文件按任务名组织到glue_data/目录下,例如glue_data/RTE/、glue_data/MNLI/等; --tasks all表示下载全部 GLUE 任务;也可以替换为单个任务名按需下载;- 后续预处理脚本要求目录结构与下载脚本的输出保持一致,即
glue_data/<TASK>/<SPLIT>.tsv的布局。
3. 第二步:与 RoBERTa 相同的 GLUE 数据预处理
原始 TSV 不能直接喂给 fairseq 训练,需要先经过 BPE 编码并二值化。原文档给出的预处理命令是:
./examples/roberta/preprocess_GLUE_tasks.sh glue_data <glue_task_name>
其中 <glue_task_name> 可取:{ALL, QQP, MNLI, QNLI, MRPC, RTE, STS-B, SST-2, CoLA},使用 ALL 表示一次处理全部任务。在 unilm 仓库中,该脚本的实际位置为 infoxlm/fairseq/examples/roberta/preprocess_GLUE_tasks.sh。
3.1 脚本内部到底做了什么
阅读该脚本源码,可以拆解出完整的预处理流水线,这对于排查问题很有帮助:
- 下载 BPE 资源:脚本开头会通过
wget -N拉取 GPT-2 风格的encoder.json、vocab.bpe以及 fairseq 字典dict.txt; - 任务与列映射:脚本为每个任务维护了"输入列 / 标签列"的映射关系,例如:
QQP:输入列 4、5,标签列 6;MNLI:使用dev_matched/dev_mismatched/test_matched/test_mismatched多个 split,标签列在 dev 上为 16、train 上为 12;SST-2、CoLA是单句任务(INPUT_COUNT=1),其余为双句任务(INPUT_COUNT=2);
- 清洗 TSV:去掉表头(
tail -n +2),并针对 QQP 用awk -F '\t' -v NUM_FIELDS=6过滤掉字段数不完整的脏行; - 切分列:用
cut -f<COLUMN>把每个 split 拆成input0、input1与label三个文件; - BPE 编码:调用
python -m examples.roberta.multiprocessing_bpe_encoder,使用 60 个 worker 对input0/input1做 GPT-2 BPE 切词; - fairseq-preprocess 二值化:对每个输入列分别执行
fairseq-preprocess --only-source,生成$TASK-bin/input0、$TASK-bin/input1目录,标签则生成到$TASK-bin/label; - STS-B 特殊处理:由于 STS-B 是回归任务,标签为 0~5 的相似度分数,脚本通过
awk '{print $1 / 5.0}'将其归一化到[0.0, 1.0]区间。
预处理完成后,会在当前目录生成类似 RTE-bin/ 的二值化数据目录,供训练命令直接使用。
4. 第三步:微调命令与超参数详解
原文档以 RTE 任务为例给出了完整的微调命令。这段命令基本可以照搬用于所有 GLUE 任务,只需按下文表格调整少量参数。
4.1 RTE 微调示例
TOTAL_NUM_UPDATES=2036 # 10 epochs through RTE for bsz 16
WARMUP_UPDATES=61 # 6 percent of the number of updates
LR=1e-05 # Peak LR for polynomial LR scheduler.
NUM_CLASSES=2
MAX_SENTENCES=16 # Batch size.
BART_PATH=/path/to/bart/model.pt
CUDA_VISIBLE_DEVICES=0,1 python train.py RTE-bin/ \
--restore-file $BART_PATH \
--max-sentences $MAX_SENTENCES \
--max-tokens 4400 \
--task sentence_prediction \
--add-prev-output-tokens \
--layernorm-embedding \
--share-all-embeddings \
--share-decoder-input-output-embed \
--reset-optimizer --reset-dataloader --reset-meters \
--required-batch-size-multiple 1 \
--init-token 0 \
--arch bart_large \
--criterion sentence_prediction \
--num-classes $NUM_CLASSES \
--dropout 0.1 --attention-dropout 0.1 \
--weight-decay 0.01 --optimizer adam --adam-betas "(0.9, 0.98)" --adam-eps 1e-08 \
--clip-norm 0.0 \
--lr-scheduler polynomial_decay --lr $LR --total-num-update $TOTAL_NUM_UPDATES --warmup-updates $WARMUP_UPDATES \
--fp16 --fp16-init-scale 4 --threshold-loss-scale 1 --fp16-scale-window 128 \
--max-epoch 10 \
--find-unused-parameters \
--best-checkpoint-metric accuracy --maximize-best-checkpoint-metric;
4.2 关键参数逐项解读
结合 fairseq 源码,可将上述参数分为几类:
任务与数据侧
--task sentence_prediction:指定使用句子(对)分类任务。对应的实现是 infoxlm/fairseq/fairseq/tasks/sentence_prediction.py 中的SentencePredictionTask,它负责把RTE-bin/下的input0/input1/label组装成ConcatSentencesDataset供模型消费;--num-classes:分类类别数(回归任务 STS-B 传 1);--init-token 0:在每个样本开头追加 id 为 0 的 token(即 BOS),对应任务参数--init-token;--add-prev-output-tokens:为 encoder-decoder 架构补充prev_output_tokens字段(该参数定义在SentencePredictionTask.add_args中),这是 BART 这类 seq2seq 模型跑 sentence_prediction 任务所必需的;--criterion sentence_prediction:分类/回归损失函数。
模型架构侧
--arch bart_large:使用 12 层编码器 + 12 层解码器的 BART-large 结构;--layernorm-embedding、--share-all-embeddings、--share-decoder-input-output-embed:与 BART 的初始化方式配套,保证从bart.largecheckpoint 恢复时结构完全对齐;--restore-file $BART_PATH:加载预训练权重。注意配合--reset-optimizer --reset-dataloader --reset-meters清空预训练阶段遗留的优化器、数据加载器和统计量状态,只保留模型权重,这是"从预训练 checkpoint 做下游微调"的标准姿势;--find-unused-parameters:由于分类头只使用 decoder 部分输出,允许 DDP 忽略未用参数,避免报错。
优化与调度侧
--optimizer adam --adam-betas "(0.9, 0.98)" --adam-eps 1e-08:与 BART 预训练一致的 Adam 配置;--lr-scheduler polynomial_decay:多项式衰减学习率调度器,峰值学习率由--lr指定;--total-num-update:总更新步数,调度器按此步数把学习率衰减到 0。原文档特别提示(见 4.4 节注释),该值是按--max-epoch=10与--max-sentences=32/64/128(不同任务不同)推算出来的,若改动 batch 大小或 epoch 数需要重新计算;--warmup-updates:预热步数,RTE 示例中为总步数的 6%;--max-epoch 10:最多训练 10 个 epoch。
混合精度与资源
--fp16 --fp16-init-scale 4 --threshold-loss-scale 1 --fp16-scale-window 128:动态 loss scaling 的混合精度训练;--max-tokens 4400:单 batch 的最大 token 数(与--max-sentences共同约束 batch 大小);- 原文档注释 (b) 强调:上述配置在 32GB 显存的 NVIDIA V100 上验证通过;若显存不足,可增大
--update-freq(梯度累积)并减小--max-sentences。
4.3 各 GLUE 任务推荐超参数表
原文档给出了一张按任务区分的参数表,微调时必须按下表逐项替换:
| Model | MNLI | QNLI | QQP | RTE | SST-2 | MRPC | CoLA | STS-B |
|---|---|---|---|---|---|---|---|---|
--num-classes |
3 | 2 | 2 | 2 | 2 | 2 | 2 | 1 |
--lr |
5e-6 | 1e-5 | 1e-5 | 1e-5 | 5e-6 | 2e-5 | 2e-5 | 2e-5 |
bsz |
128 | 32 | 32 | 32 | 128 | 64 | 64 | 32 |
--total-num-update |
30968 | 33112 | 113272 | 1018 | 5233 | 1148 | 1334 | 1799 |
--warmup-updates |
1858 | 1986 | 6796 | 61 | 314 | 68 | 80 | 107 |
上表的解读要点:
- MNLI 是三分类(矛盾 / 中立 / 蕴含),因此
--num-classes=3;STS-B 是回归任务,--num-classes=1; - STS-B 需要额外改动:追加
--regression-target --best-checkpoint-metric loss,并移除--maximize-best-checkpoint-metric——因为回归任务不再以准确率、而是以 loss(即 MSE)作为 checkpoint 选择指标; bsz对应命令中的--max-sentences。以 RTE 为例,原文档示例里bsz 16、10 个 epoch 对应TOTAL_NUM_UPDATES=2036,而表格中的bsz 32则对应TOTAL_NUM_UPDATES=1018——两者步数相差一倍,正符合"总样本数 ÷ batch 大小 × epoch 数"的换算关系。
4.4 原文档的两条重要注释
原文档末尾明确给出了两点注意事项,直接引用于此:
a)
--total-num-updates由--polynomial_decay调度器使用,其数值是按--max-epoch=10以及不同任务对应的--max-sentences=32/64/128计算得出的。
b) 以上命令行参数与超参数均在 32GB 显存的 Nvidia V100 GPU 上逐任务验证。如果你可用的显存资源不同,可以通过增大
--update-freq并减小--max-sentences来适配。
5. 推理与精度评估:用 BARTModel 加载 checkpoint
训练完成后,checkpoint 会保存在 checkpoints/ 目录(fairseq 默认输出位置)。原文档给出了一个直接可运行的 Python 推理脚本:
from fairseq.models.bart import BARTModel
bart = BARTModel.from_pretrained(
'checkpoints/',
checkpoint_file='checkpoint_best.pt',
data_name_or_path='RTE-bin'
)
label_fn = lambda label: bart.task.label_dictionary.string(
[label + bart.task.label_dictionary.nspecial]
)
ncorrect, nsamples = 0, 0
bart.cuda()
bart.eval()
with open('glue_data/RTE/dev.tsv') as fin:
fin.readline()
for index, line in enumerate(fin):
tokens = line.strip().split('\t')
sent1, sent2, target = tokens[1], tokens[2], tokens[3]
tokens = bart.encode(sent1, sent2)
prediction = bart.predict('sentence_classification_head', tokens).argmax().item()
prediction_label = label_fn(prediction)
ncorrect += int(prediction_label == target)
nsamples += 1
print('| Accuracy: ', float(ncorrect)/float(nsamples))
这段代码背后的机制,在 unilm 仓库源码中都有对应实现:
- 模型加载:
BARTModel.from_pretrained定义于 infoxlm/fairseq/fairseq/models/bart/model.py,BARTModel继承自TransformerModel,并在__init__中通过init_bert_params复刻 BERT 的随机初始化方式,同时维护了一个self.classification_heads = nn.ModuleDict()用于挂载下游分类头; - 分类头:
bart.predict('sentence_classification_head', tokens)调用的是 BART 在微调时自动注册的默认分类头。当forward()收到classification_head_name时,会从 decoder 输出中取出对应 EOS token 位置(src_tokens.eq(self.encoder.dictionary.eos()))的表示,送入分类头得到 logits; - 编码:
bart.encode(sent1, sent2)对双句做 BPE 编码并按 BART 约定拼接,bart.decode负责把 token id 还原为文本;bart.task.label_dictionary.string则把预测出的 label id 映射回可读的标签字符串,从而与dev.tsv中的target列直接比较; - 注意 RTE 的 dev.tsv 列序:代码中
tokens[1], tokens[2], tokens[3]分别取sentence1、sentence2、label(表头已被fin.readline()跳过)。不同任务 dev 文件的列布局不同(MNLI 的 dev_matched 需取第 8、9 列与最后一列),切换任务时需按各自 TSV 的 schema 调整下标; - 结果预期:用
checkpoint_best.pt在 RTE dev 集上运行后打印的即为模型准确率,可作为与官方bart.largeGLUE 结果对比的依据。
6. 任务扩展:从单任务微调到自定义分类头
如果你不只是复现 GLUE,而是想把 BART 迁移到自己的分类任务上,README.md 提供了两条可以直接借鉴的路径:
- 复用 hub 模型做零样本预测:
torch.hub.load('pytorch/fairseq', 'bart.large.mnli')加载 MNLI 微调后的模型,bart.predict('mnli', tokens).argmax()直接输出蕴含关系类别(0=矛盾,2=蕴含); - 注册全新的分类头:
bart.register_classification_head('new_task', num_classes=3)
logprobs = bart.predict('new_task', tokens)
它会随机初始化一个名为 new_task 的分类头,之后即可用 bart.predict('new_task', ...) 推理。结合本文第 4 节的训练流程,把 --num-classes 改为你的类别数、按你的数据格式准备 input0/input1/label 并执行 fairseq-preprocess,即可把整套 GLUE 微调管线平移到自定义句子分类 / 句对分类任务上。
7. 小结与实战 checklist
将 BART 微调到 GLUE 任务的完整链路可概括为:
- 下载数据:
download_glue_data.py --data_dir glue_data --tasks all; - 预处理:运行 infoxlm/fairseq/examples/roberta/preprocess_GLUE_tasks.sh,生成
$TASK-bin/二值化目录(脚本会自动下载 GPT-2 BPE 资源、切列、BPE 编码并执行fairseq-preprocess,STS-B 的标签会自动归一化到[0,1]); - 微调:以
--task sentence_prediction --criterion sentence_prediction --arch bart_large为骨架,按 第 4.3 节超参表 逐任务替换--num-classes / --lr / --max-sentences / --total-num-update / --warmup-updates;STS-B 记得追加--regression-target并把 checkpoint 指标换成loss; - 评估:用 第 5 节的推理脚本 读取
checkpoints/checkpoint_best.pt,在 dev.tsv 上逐行计算准确率(STS-B 为相关性/误差指标)。
需要特别留意的是:超参数表以 10 个 epoch、32GB V100 为前提,修改 batch 或显存配置时务必按公式重算 --total-num-update,并善用 --update-freq 做梯度累积,才能在有限显存下保持等效训练步数。