Sentence Transformers训练中的性能下降问题分析与解决方案

引言

在使用Sentence Transformers进行对比学习预训练时，研究人员发现了一个值得关注的现象：模型性能在训练初期达到峰值后，随着训练步数的增加反而出现下降。本文将通过分析这一现象，探讨其潜在原因，并提供有效的解决方案。

现象描述

在基于klue/roberta-large基础模型的预训练实验中，研究人员观察到：

1. 最佳性能出现在训练的前50步（约5-10%的训练进度）
2. 随着训练继续，MIRACL和MLDR基准测试的NDCG@10指标均呈现下降趋势
3. 正负样本对的余弦相似度分布整体下移，相似度得分普遍降低

原因分析

1. 学习率设置问题

大规模批量训练（8192）需要调整学习率。根据经验法则，批量大小变化时，学习率应相应调整。对于8192的大批量，建议尝试5.6e-4的学习率（基于5e-5为64批量大小的基准）。

2. 任务目标不匹配

训练数据采用"标题-内容"对，而评估使用的是信息检索(IR)任务的"查询-文档"对。这种任务目标的不匹配导致模型在优化训练目标时，可能偏离了评估任务的需求。

3. 学习率预热影响

默认训练设置包含10%的学习率预热阶段，这与观察到的性能峰值时间点吻合，表明模型可能在预热结束后难以维持最佳状态。

解决方案

1. 学习率优化策略

建议尝试以下学习率调整方案：

• 逐步降低学习率（如从5e-5降至5e-6）
• 实施学习率调度策略
• 针对大批量训练调整学习率（约5.6e-4）

2. 数据格式转换

将训练数据从"标题-内容"对转换为更符合IR任务的"查询-文档"对格式。可通过以下方法实现：

• 基于文档内容生成相关查询
• 使用现有IR数据集进行微调
• 设计专门针对检索任务的对比学习目标

3. 训练监控机制

建立全面的训练监控体系：

• 同时跟踪训练损失和验证损失
• 定期在独立基准测试集上评估
• 监控余弦相似度分布变化
• 设置早停机制防止过拟合

实验验证

研究人员通过对比实验验证了上述分析：

1. 训练损失和验证损失持续下降，排除过拟合可能
2. 性能下降与任务目标不匹配高度相关
3. 调整数据格式后，模型在IR任务上表现更稳定

结论

Sentence Transformers训练中的性能下降现象主要源于任务目标不匹配和学习率设置问题。通过调整数据格式、优化学习率策略和完善监控机制，可以有效解决这一问题。特别值得注意的是，在预训练阶段就应考虑最终应用场景，确保训练目标与评估目标的一致性。

对于信息检索类应用，建议直接使用"查询-文档"格式数据进行训练，而非通用的"标题-内容"对，这将显著提升模型在IR任务上的表现和训练稳定性。