FlagEmbedding项目中M3模型微调时正样本相似度下降问题分析

问题背景

在使用FlagEmbedding项目的M3基础模型进行微调时，研究人员发现了一个值得关注的现象：经过微调后，负样本的区分度确实有所提升（负样本与查询的相似度降低），但正样本的相似度却出现了下降。具体表现为，原本平均相似度在0.6左右的正样本对，在微调后降至0.4-0.5区间。

实验设置细节

研究人员采用了知识蒸馏技术，利用M3重排序器的评分作为监督信号进行微调。实验配置包括：

• 使用约20万条训练数据
• 采用8个GPU并行训练
• 学习率设置为5e-6
• 训练10个epoch
• 查询最大长度512，段落最大长度8192
• 启用了梯度检查点和混合精度训练

可能原因分析

负样本过于挑战性

技术专家指出，负样本选择范围（35-60）可能过于狭窄，导致模型需要过度调整表示空间来区分这些困难负样本。这种调整可能会"挤压"整个相似度分布，导致正样本的绝对相似度下降。

数据质量问题

另一个潜在原因是训练数据中存在噪声，即错误标记的正负样本。虽然研究人员已经采取了筛选措施（只使用重排序器评分≥2的样本作为正样本），但仍可能存在未被发现的噪声。

评分归一化问题

值得注意的是，在知识蒸馏过程中，直接使用重排序器的原始评分（而非归一化后的评分）更为合适。归一化后的评分分布过于平滑，不利于模型学习有效的区分边界。

解决方案建议

调整负样本采样策略

建议扩大负样本的选择范围（如1-300），而不是局限于35-60的区间。这样可以提供更丰富的负样本梯度信号，避免模型过度专注于区分困难负样本。

两阶段微调策略

研究人员提出的两阶段微调方案值得尝试：

1. 第一阶段使用标准设置（train_group_size=8）优化负样本区分度
2. 第二阶段专注于正样本（train_group_size=1，不使用负样本）提升正样本相似度

评估指标选择

技术专家提醒，在实际应用中，绝对相似度值的下降不一定会影响模型性能。关键指标应该是样本对的相对排序准确性，而非相似度的绝对值。

总结

M3模型微调过程中出现的正样本相似度下降现象，主要与负样本选择策略和数据质量有关。通过调整负样本采样范围、实施两阶段微调策略，并关注正确的评估指标，可以有效解决这一问题。这一案例也提醒我们，在表示学习过程中，需要平衡正负样本的学习信号，才能获得最优的嵌入空间。