BART 在 GLUE 任务上的微调实战:基于 unilm 仓库中 InfoXLM/fairseq 的句子分类训练与推理全流程

原创2026-09-13 18:17:511,720 阅读
文章标签:人工智能大模型深度学习预训练微调NLP计算机视觉多模态语音

BART 在 GLUE 任务上的微调实战:基于 unilm 仓库中 InfoXLM/fairseq 的句子分类训练与推理全流程

本文以 README.glue.md 为核心脉络,系统讲解如何在 unilm 仓库内置的 fairseq 代码库中,将 BART(Denoising Sequence-to-Sequence 预训练模型)微调到 GLUE 基准测试的各个自然语言理解任务上,覆盖数据下载、预处理、超参数配置、训练命令与推理评估的完整闭环。读完本文,你将掌握 sentence_prediction 任务的使用方法、各 GLUE 子任务的推荐超参、以及如何用 BARTModel 加载 checkpoint 进行精度评测。

1. 任务背景:为什么用 BART 做 GLUE

GLUE(General Language Understanding Evaluation)是由 Wang et al. (2019) 提出的多任务自然语言理解基准,包含 MNLI、QNLI、QQP、RTE、SST-2、MRPC、CoLA、STS-B 八类子任务,涵盖蕴含推理、语义相似度、情感分析、语法可接受性判断等多种 NLU 能力。

BART 是一种去噪自编码器式的序列到序列预训练模型,其预训练目标是对被噪声破坏的文本进行重建。原文档指出,这种预训练目标更具通用性:在 README.md 的 GLUE 结果表中,bart.large(12 层编码器 + 12 层解码器,约 400M 参数)在 dev 集上的表现(如 MNLI 89.9、QNLI 94.9、QQP 92.5、RTE 87.0、SST-2 96.6、MRPC 90.4、CoLA 62.8、STS-B 91.2)能够与 RoBERTa 相匹敌,同时还在摘要生成、生成式问答、对话回复等生成任务上取得领先——这正是"一个预训练模型同时服务理解与生成"的体现。

在 unilm 仓库中,这份指南位于 infoxlm/fairseq/examples/bart/ 目录下,与 InfoXLM 所依赖的 fairseq 代码同源,因此其中的命令可直接在 infoxlm/fairseq 代码库中运行。

2. 第一步:从 GLUE 官网下载原始数据

微调的第一步是获取 GLUE 原始数据。原文档给出了两条命令:

wget https://gist.githubusercontent.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e/raw/17b8dd0d724281ed7c3b2aeeda662b92809aadd5/download_glue_data.py
python download_glue_data.py --data_dir glue_data --tasks all

说明要点:

  • 该下载脚本会把各任务的原始 *.tsv 文件按任务名组织到 glue_data/ 目录下,例如 glue_data/RTE/、glue_data/MNLI/ 等;
  • --tasks all 表示下载全部 GLUE 任务;也可以替换为单个任务名按需下载;
  • 后续预处理脚本要求目录结构与下载脚本的输出保持一致,即 glue_data/<TASK>/<SPLIT>.tsv 的布局。

3. 第二步:与 RoBERTa 相同的 GLUE 数据预处理

原始 TSV 不能直接喂给 fairseq 训练,需要先经过 BPE 编码并二值化。原文档给出的预处理命令是:

./examples/roberta/preprocess_GLUE_tasks.sh glue_data <glue_task_name>

其中 <glue_task_name> 可取:{ALL, QQP, MNLI, QNLI, MRPC, RTE, STS-B, SST-2, CoLA},使用 ALL 表示一次处理全部任务。在 unilm 仓库中,该脚本的实际位置为 infoxlm/fairseq/examples/roberta/preprocess_GLUE_tasks.sh。

3.1 脚本内部到底做了什么

阅读该脚本源码,可以拆解出完整的预处理流水线,这对于排查问题很有帮助:

  1. 下载 BPE 资源:脚本开头会通过 wget -N 拉取 GPT-2 风格的 encoder.json、vocab.bpe 以及 fairseq 字典 dict.txt;
  2. 任务与列映射:脚本为每个任务维护了"输入列 / 标签列"的映射关系,例如:
    • QQP:输入列 4、5,标签列 6;
    • MNLI:使用 dev_matched / dev_mismatched / test_matched / test_mismatched 多个 split,标签列在 dev 上为 16、train 上为 12;
    • SST-2、CoLA 是单句任务(INPUT_COUNT=1),其余为双句任务(INPUT_COUNT=2);
  3. 清洗 TSV:去掉表头(tail -n +2),并针对 QQP 用 awk -F '\t' -v NUM_FIELDS=6 过滤掉字段数不完整的脏行;
  4. 切分列:用 cut -f<COLUMN> 把每个 split 拆成 input0、input1 与 label 三个文件;
  5. BPE 编码:调用 python -m examples.roberta.multiprocessing_bpe_encoder,使用 60 个 worker 对 input0/input1 做 GPT-2 BPE 切词;
  6. fairseq-preprocess 二值化:对每个输入列分别执行 fairseq-preprocess --only-source,生成 $TASK-bin/input0、$TASK-bin/input1 目录,标签则生成到 $TASK-bin/label;
  7. STS-B 特殊处理:由于 STS-B 是回归任务,标签为 0~5 的相似度分数,脚本通过 awk '{print $1 / 5.0}' 将其归一化到 [0.0, 1.0] 区间。

预处理完成后,会在当前目录生成类似 RTE-bin/ 的二值化数据目录,供训练命令直接使用。

4. 第三步:微调命令与超参数详解

原文档以 RTE 任务为例给出了完整的微调命令。这段命令基本可以照搬用于所有 GLUE 任务,只需按下文表格调整少量参数。

4.1 RTE 微调示例

TOTAL_NUM_UPDATES=2036  # 10 epochs through RTE for bsz 16
WARMUP_UPDATES=61      # 6 percent of the number of updates
LR=1e-05                # Peak LR for polynomial LR scheduler.
NUM_CLASSES=2
MAX_SENTENCES=16        # Batch size.
BART_PATH=/path/to/bart/model.pt

CUDA_VISIBLE_DEVICES=0,1 python train.py RTE-bin/ \
    --restore-file $BART_PATH \
    --max-sentences $MAX_SENTENCES \
    --max-tokens 4400 \
    --task sentence_prediction \
    --add-prev-output-tokens \
    --layernorm-embedding \
    --share-all-embeddings \
    --share-decoder-input-output-embed \
    --reset-optimizer --reset-dataloader --reset-meters \
    --required-batch-size-multiple 1 \
    --init-token 0 \
    --arch bart_large \
    --criterion sentence_prediction \
    --num-classes $NUM_CLASSES \
    --dropout 0.1 --attention-dropout 0.1 \
    --weight-decay 0.01 --optimizer adam --adam-betas "(0.9, 0.98)" --adam-eps 1e-08 \
    --clip-norm 0.0 \
    --lr-scheduler polynomial_decay --lr $LR --total-num-update $TOTAL_NUM_UPDATES --warmup-updates $WARMUP_UPDATES \
    --fp16 --fp16-init-scale 4 --threshold-loss-scale 1 --fp16-scale-window 128 \
    --max-epoch 10 \
    --find-unused-parameters \
    --best-checkpoint-metric accuracy --maximize-best-checkpoint-metric;

4.2 关键参数逐项解读

结合 fairseq 源码,可将上述参数分为几类:

任务与数据侧

  • --task sentence_prediction:指定使用句子(对)分类任务。对应的实现是 infoxlm/fairseq/fairseq/tasks/sentence_prediction.py 中的 SentencePredictionTask,它负责把 RTE-bin/ 下的 input0/input1/label 组装成 ConcatSentencesDataset 供模型消费;
  • --num-classes:分类类别数(回归任务 STS-B 传 1);
  • --init-token 0:在每个样本开头追加 id 为 0 的 token(即 BOS),对应任务参数 --init-token;
  • --add-prev-output-tokens:为 encoder-decoder 架构补充 prev_output_tokens 字段(该参数定义在 SentencePredictionTask.add_args 中),这是 BART 这类 seq2seq 模型跑 sentence_prediction 任务所必需的;
  • --criterion sentence_prediction:分类/回归损失函数。

模型架构侧

  • --arch bart_large:使用 12 层编码器 + 12 层解码器的 BART-large 结构;
  • --layernorm-embedding、--share-all-embeddings、--share-decoder-input-output-embed:与 BART 的初始化方式配套,保证从 bart.large checkpoint 恢复时结构完全对齐;
  • --restore-file $BART_PATH:加载预训练权重。注意配合 --reset-optimizer --reset-dataloader --reset-meters 清空预训练阶段遗留的优化器、数据加载器和统计量状态,只保留模型权重,这是"从预训练 checkpoint 做下游微调"的标准姿势;
  • --find-unused-parameters:由于分类头只使用 decoder 部分输出,允许 DDP 忽略未用参数,避免报错。

优化与调度侧

  • --optimizer adam --adam-betas "(0.9, 0.98)" --adam-eps 1e-08:与 BART 预训练一致的 Adam 配置;
  • --lr-scheduler polynomial_decay:多项式衰减学习率调度器,峰值学习率由 --lr 指定;
  • --total-num-update:总更新步数,调度器按此步数把学习率衰减到 0。原文档特别提示(见 4.4 节注释),该值是按 --max-epoch=10 与 --max-sentences=32/64/128(不同任务不同)推算出来的,若改动 batch 大小或 epoch 数需要重新计算;
  • --warmup-updates:预热步数,RTE 示例中为总步数的 6%;
  • --max-epoch 10:最多训练 10 个 epoch。

混合精度与资源

  • --fp16 --fp16-init-scale 4 --threshold-loss-scale 1 --fp16-scale-window 128:动态 loss scaling 的混合精度训练;
  • --max-tokens 4400:单 batch 的最大 token 数(与 --max-sentences 共同约束 batch 大小);
  • 原文档注释 (b) 强调:上述配置在 32GB 显存的 NVIDIA V100 上验证通过;若显存不足,可增大 --update-freq(梯度累积)并减小 --max-sentences。

4.3 各 GLUE 任务推荐超参数表

原文档给出了一张按任务区分的参数表,微调时必须按下表逐项替换:

Model MNLI QNLI QQP RTE SST-2 MRPC CoLA STS-B
--num-classes 3 2 2 2 2 2 2 1
--lr 5e-6 1e-5 1e-5 1e-5 5e-6 2e-5 2e-5 2e-5
bsz 128 32 32 32 128 64 64 32
--total-num-update 30968 33112 113272 1018 5233 1148 1334 1799
--warmup-updates 1858 1986 6796 61 314 68 80 107

上表的解读要点:

  • MNLI 是三分类(矛盾 / 中立 / 蕴含),因此 --num-classes=3;STS-B 是回归任务,--num-classes=1;
  • STS-B 需要额外改动:追加 --regression-target --best-checkpoint-metric loss,并移除 --maximize-best-checkpoint-metric——因为回归任务不再以准确率、而是以 loss(即 MSE)作为 checkpoint 选择指标;
  • bsz 对应命令中的 --max-sentences。以 RTE 为例,原文档示例里 bsz 16、10 个 epoch 对应 TOTAL_NUM_UPDATES=2036,而表格中的 bsz 32 则对应 TOTAL_NUM_UPDATES=1018——两者步数相差一倍,正符合"总样本数 ÷ batch 大小 × epoch 数"的换算关系。

4.4 原文档的两条重要注释

原文档末尾明确给出了两点注意事项,直接引用于此:

a) --total-num-updates 由 --polynomial_decay 调度器使用,其数值是按 --max-epoch=10 以及不同任务对应的 --max-sentences=32/64/128 计算得出的。

b) 以上命令行参数与超参数均在 32GB 显存的 Nvidia V100 GPU 上逐任务验证。如果你可用的显存资源不同,可以通过增大 --update-freq 并减小 --max-sentences 来适配。

5. 推理与精度评估:用 BARTModel 加载 checkpoint

训练完成后,checkpoint 会保存在 checkpoints/ 目录(fairseq 默认输出位置)。原文档给出了一个直接可运行的 Python 推理脚本:

from fairseq.models.bart import BARTModel

bart = BARTModel.from_pretrained(
    'checkpoints/',
    checkpoint_file='checkpoint_best.pt',
    data_name_or_path='RTE-bin'
)

label_fn = lambda label: bart.task.label_dictionary.string(
    [label + bart.task.label_dictionary.nspecial]
)
ncorrect, nsamples = 0, 0
bart.cuda()
bart.eval()
with open('glue_data/RTE/dev.tsv') as fin:
    fin.readline()
    for index, line in enumerate(fin):
        tokens = line.strip().split('\t')
        sent1, sent2, target = tokens[1], tokens[2], tokens[3]
        tokens = bart.encode(sent1, sent2)
        prediction = bart.predict('sentence_classification_head', tokens).argmax().item()
        prediction_label = label_fn(prediction)
        ncorrect += int(prediction_label == target)
        nsamples += 1
print('| Accuracy: ', float(ncorrect)/float(nsamples))

这段代码背后的机制,在 unilm 仓库源码中都有对应实现:

  • 模型加载:BARTModel.from_pretrained 定义于 infoxlm/fairseq/fairseq/models/bart/model.py,BARTModel 继承自 TransformerModel,并在 __init__ 中通过 init_bert_params 复刻 BERT 的随机初始化方式,同时维护了一个 self.classification_heads = nn.ModuleDict() 用于挂载下游分类头;
  • 分类头:bart.predict('sentence_classification_head', tokens) 调用的是 BART 在微调时自动注册的默认分类头。当 forward() 收到 classification_head_name 时,会从 decoder 输出中取出对应 EOS token 位置(src_tokens.eq(self.encoder.dictionary.eos()))的表示,送入分类头得到 logits;
  • 编码:bart.encode(sent1, sent2) 对双句做 BPE 编码并按 BART 约定拼接,bart.decode 负责把 token id 还原为文本;bart.task.label_dictionary.string 则把预测出的 label id 映射回可读的标签字符串,从而与 dev.tsv 中的 target 列直接比较;
  • 注意 RTE 的 dev.tsv 列序:代码中 tokens[1], tokens[2], tokens[3] 分别取 sentence1、sentence2、label(表头已被 fin.readline() 跳过)。不同任务 dev 文件的列布局不同(MNLI 的 dev_matched 需取第 8、9 列与最后一列),切换任务时需按各自 TSV 的 schema 调整下标;
  • 结果预期:用 checkpoint_best.pt 在 RTE dev 集上运行后打印的即为模型准确率,可作为与官方 bart.large GLUE 结果对比的依据。

6. 任务扩展:从单任务微调到自定义分类头

如果你不只是复现 GLUE,而是想把 BART 迁移到自己的分类任务上,README.md 提供了两条可以直接借鉴的路径:

  1. 复用 hub 模型做零样本预测:torch.hub.load('pytorch/fairseq', 'bart.large.mnli') 加载 MNLI 微调后的模型,bart.predict('mnli', tokens).argmax() 直接输出蕴含关系类别(0=矛盾,2=蕴含);
  2. 注册全新的分类头:
bart.register_classification_head('new_task', num_classes=3)
logprobs = bart.predict('new_task', tokens)

它会随机初始化一个名为 new_task 的分类头,之后即可用 bart.predict('new_task', ...) 推理。结合本文第 4 节的训练流程,把 --num-classes 改为你的类别数、按你的数据格式准备 input0/input1/label 并执行 fairseq-preprocess,即可把整套 GLUE 微调管线平移到自定义句子分类 / 句对分类任务上。

7. 小结与实战 checklist

将 BART 微调到 GLUE 任务的完整链路可概括为:

  1. 下载数据:download_glue_data.py --data_dir glue_data --tasks all;
  2. 预处理:运行 infoxlm/fairseq/examples/roberta/preprocess_GLUE_tasks.sh,生成 $TASK-bin/ 二值化目录(脚本会自动下载 GPT-2 BPE 资源、切列、BPE 编码并执行 fairseq-preprocess,STS-B 的标签会自动归一化到 [0,1]);
  3. 微调:以 --task sentence_prediction --criterion sentence_prediction --arch bart_large 为骨架,按 第 4.3 节超参表 逐任务替换 --num-classes / --lr / --max-sentences / --total-num-update / --warmup-updates;STS-B 记得追加 --regression-target 并把 checkpoint 指标换成 loss;
  4. 评估:用 第 5 节的推理脚本 读取 checkpoints/checkpoint_best.pt,在 dev.tsv 上逐行计算准确率(STS-B 为相关性/误差指标)。

需要特别留意的是:超参数表以 10 个 epoch、32GB V100 为前提,修改 batch 或显存配置时务必按公式重算 --total-num-update,并善用 --update-freq 做梯度累积,才能在有限显存下保持等效训练步数。

登录后查看全文
unilm