重访少量样本BERT微调

1. 项目介绍

本项目是基于 arXiv 论文《Revisiting Few-sample BERT Fine-tuning》的开源实现，旨在分析和改进少量样本上进行 BERT 微调的常见问题。研究指出，存在三种次优实践：BERTAdam 中梯度偏差校正的省略导致微调不稳定；BERT 的顶层提供有害的初始化，重新初始化这些层可以改善收敛性和性能；常用的训练方案往往没有为训练分配足够的时间。

2. 项目快速启动

环境准备

首先，确保您的环境中已安装以下依赖：

• Python 3.x
• PyTorch 1.4.0
• Transformers 2.8.0
• Apex (按照 NVIDIA/apex 中的说明安装)
• tqdm
• tensorboardX

数据准备

您需要下载 GLUE 数据集。具体下载方式请参考项目提供的脚本。

启动命令

以下是启动项目的一些示例命令：

• 使用未经偏差校正的 BERTAdam:

python run_glue.py --use_bertadam

• 使用经过偏差校正的 PyTorch AdamW:

python run_glue.py --use_torch_adamw

• 重新初始化池化层和最后 N 个 Transformer 块:

python run_glue.py --reinit_pooler --reinit_layers <N>

更多选项和详细配置，请运行：

python run_glue.py --help

3. 应用案例和最佳实践

• 案例一：重新初始化顶层以改善收敛性。通过 --reinit_pooler 和 --reinit_layers 参数实现。
• 案例二：使用偏差校正的优化器以提高训练稳定性。选择 --use_torch_adamw 参数启动训练。
• 案例三：增加训练迭代次数以提高模型性能。可以通过扩展训练脚本来实现。

4. 典型生态项目

目前，该项目并未列出直接的生态项目。但是，任何关注于自然语言处理、模型微调和优化算法的开源项目都可能成为本项目的生态项目。您可以关注 GitHub 上相关的开源项目，以获取更多关于 BERT 微调和优化的资源和代码。