基于Sentence Transformers的NFCorpus数据集微调技术解析

背景介绍

在信息检索领域，Sentence Transformers项目提供了强大的文本嵌入能力。本文将深入探讨如何针对医学数据集NFCorpus进行模型微调的技术细节。NFCorpus是一个来自BeIR的医学数据集，每个查询平均对应38.2个相关文档，这种一对多的特性给模型训练带来了独特挑战。

技术方案设计

双编码器与交叉编码器协同架构

在实现方案中，我们采用了双编码器(Bi-Encoder)和交叉编码器(Cross-Encoder)协同工作的架构：

1. 双编码器阶段：使用Sentence Transformer模型将所有文档编码为向量，并构建Faiss索引
2. 检索阶段：对每个查询，通过Faiss检索出最相关的10个文档
3. 重排序阶段：使用交叉编码器对查询-文档对进行精细评分
4. 分数归一化：通过sigmoid函数将交叉编码器的输出归一化为0-1之间的相似度分数

这种架构结合了双编码器的高效检索能力和交叉编码器的精确评分优势，特别适合处理NFCorpus这种一对多的数据集。

训练策略优化

损失函数选择

在模型训练过程中，我们主要考虑了两种损失函数：

1. 余弦相似度损失(CosineSimilarityLoss)：直接优化模型输出的嵌入向量与目标相似度分数之间的差异
2. CoSENTLoss：作为余弦相似度损失的改进版本，在某些场景下表现更优

多负例排序损失(MultipleNegativesRankingLoss)

这是一种更先进的训练策略，其核心思想是：

• 仅需要正例对(查询-相关文档)
• 自动将同一批次中的其他样本视为负例
• 配合NoDuplicatesDataLoader使用效果更佳
• 批次大小对性能有显著影响，更大的批次通常带来更好的效果

训练过程中的关键发现

在实验过程中，我们观察到一个重要现象：当训练超过10个epoch后，模型性能开始持续下降。经过分析，这主要与学习率调度机制有关：

1. 标准的NLP模型训练通常采用逐渐降低学习率的策略
2. 前10个epoch结束时，学习率已降至接近0
3. 如果在此基础上继续训练，学习率会重新升高，导致模型参数剧烈变化
4. 解决方案是直接从基础模型开始完整训练所需的总epoch数

实践建议

对于希望在NFCorpus数据集上微调模型的实践者，我们建议：

1. 优先考虑使用MultipleNegativesRankingLoss配合NoDuplicatesDataLoader
2. 尝试CachedMultipleNegativesRankingLoss以获得更大批次的训练优势
3. 对于需要精确相似度分数的场景，可以结合使用CoSENTLoss
4. 训练时直接从基础模型开始，规划好总epoch数，避免中断后继续训练
5. 注意交叉编码器仅用于推理阶段的精细排序，不适合直接用于训练

通过合理运用这些技术，可以显著提升模型在医学信息检索任务中的表现。