FlagEmbedding项目中bge-reranker-base微调性能下降问题分析

问题背景

在FlagEmbedding项目中使用bge-reranker-base模型进行微调时，开发者遇到了一个典型的问题：虽然训练过程中的损失函数值持续下降并最终趋近于零，但在评估阶段却发现模型性能显著下降。具体表现为微调后的模型在NDCG等评估指标上比原始模型表现更差，且模型输出分数全部变为负值，导致负样本被错误地排在前面。

问题现象

开发者提供了详细的训练日志和评估结果对比：

1. 训练过程中损失函数稳定下降：

   • 初始损失：10.6336
   • 最终损失：0.0152
   • 梯度范数从117.04降至1.15

2. 评估指标对比：

   • 原始模型NDCG@10：0.7044
   • 微调后模型NDCG@10：0.3063
   • 原始模型NDCG@1：0.6908
   • 微调后模型NDCG@1：0.1596

原因分析

经过深入探讨，可以总结出以下几个关键原因：

1. 训练数据设计问题：

   • 开发者采用了多级相关度标签(3,2,1,0)的设计策略
   • 对于每个查询，将相关度等级为3/2/1的样本作为正样本，比正样本等级低的样本全作为负样本
   • 这种设计可能导致模型学习到不合理的排序关系

2. 损失函数不匹配：

   • 当前使用的损失函数可能不适合多级相关度的排序任务
   • 当把较低相关度的样本(C)也作为正样本时，会严重影响模型训练

3. 评估方式问题：

   • 使用训练数据作为评估数据，可能导致评估结果不可靠
   • 模型在训练数据上过拟合，无法泛化到真实场景

解决方案建议

1. 优化训练数据设计：

   • 仅对前几个高相关度的样本(A,B)进行训练
   • 避免将较低相关度的样本(C)作为正样本
   • 确保负样本数量足够，避免重复采样

2. 改进损失函数：

   • 考虑使用与真实标签的KL散度作为损失函数
   • 实现更适合多级相关度排序的损失函数

3. 技术实现建议：

   • 克隆项目仓库后修改损失函数代码
   • 使用pip install -e .命令进行本地安装和测试

4. 评估策略优化：

   • 使用独立的验证集进行评估
   • 避免训练数据和评估数据完全一致

总结

在FlagEmbedding项目中使用bge-reranker-base进行微调时，需要特别注意训练数据的设计和损失函数的选择。对于多级相关度的排序任务，简单的二元对比损失可能不够有效。开发者应当根据实际业务场景，设计更合理的训练样本构造策略，并考虑使用更适合的损失函数，如KL散度损失等。同时，保持训练数据和评估数据的独立性也是确保模型泛化能力的重要保障。