Sentence-Transformers项目中Cross-Encoders训练的可复现性研究

在自然语言处理领域，模型训练的可复现性是一个重要课题。本文将深入探讨Sentence-Transformers项目中Cross-Encoders训练时的种子设置问题，以及相关改进方向。

当前种子设置方法

目前在使用Sentence-Transformers的Cross-Encoders进行训练时，开发者可以通过以下方式设置随机种子：

def set_seed(seed):
    np.random.seed(seed=seed)
    random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    torch.backends.cudnn.benchmark = False
    torch.backends.cudnn.deterministic = True

这种方法虽然能够在一定程度上保证可复现性，但存在以下局限性：

1. 需要在模型初始化前手动调用
2. 无法确保所有随机过程的完全确定性
3. 缺乏与训练流程的深度集成

即将到来的改进

Sentence-Transformers团队正在进行重大重构，计划在v4.0版本中引入以下改进：

1. 新的CrossEncoderTrainer类，采用类似SentenceTransformer和HuggingFace Transformers的训练方式
2. CrossEncoderTrainingArguments中将包含专门的seed参数
3. 更完善的训练流程集成，确保从模型初始化到训练过程的完全可复现性

评估指标扩展建议

在模型评估方面，当前CEBinaryClassificationEvaluator仅支持F1分数计算。技术社区建议：

1. 扩展为F-beta分数，默认beta=1保持现有F1功能
2. 允许自定义beta值，以便根据任务需求调整精确率和召回率的权重
3. 对于多标签分类任务，支持macro F1、micro F1和weighted F1等多种指标

技术实现方案

对于评估指标的扩展，可以采用面向对象的设计模式：

class FbetaEvaluator(CrossEncoderClassificationEvaluator):
    def __init__(self, *args, beta=1.0, **kwargs):
        super().__init__(*args, **kwargs)
        self.beta = beta

    def __call__(self, model: CrossEncoder, output_path: str = None, epoch: int = -1, steps: int = -1) -> dict[str, float]:
        metrics = super().__call__(model, output_path=output_path, epoch=epoch, steps=steps)
        precision = meta[f"{self.name}_precision"]
        recall = meta[f"{self.name}_recall"]
        metrics[f"{self.name}_beta"] = (1 + self.beta**2) * ((precision * recall) / ((self.beta**2 * precision) + recall))
        return metrics

这种设计既保持了现有功能的稳定性，又为高级用户提供了扩展空间。

总结

Sentence-Transformers项目正在不断完善其Cross-Encoders训练框架的可复现性和评估功能。即将发布的v4.0版本将带来更专业的训练流程和更灵活的评估选项，使研究人员和开发者能够更可靠地进行文本表示学习相关的实验和应用开发。