在PyTorch Metric Learning中使用对比损失处理配对数据

理解配对数据场景

在机器学习任务中，我们经常会遇到配对数据(pairwise data)的场景，即数据集中的每个样本都是由两个对象(如图形、图像或文本)组成的对(pair)，并带有标签指示这两个对象是否属于同一类别。这种数据结构在相似性学习、匹配任务和验证系统中非常常见。

损失函数的选择

PyTorch Metric Learning库提供了多种损失函数来处理这类问题。对于配对数据，最常用的损失函数包括：

1. NTXentLoss：归一化温度缩放交叉熵损失，常用于对比学习
2. ContrastiveLoss：对比损失，直接处理正负样本对
3. SelfSupervisedLoss：自监督损失包装器，适用于特定数据组织形式

SelfSupervisedLoss的适用条件

SelfSupervisedLoss包装器适用于特定的数据组织形式，它要求：

• 有两组嵌入向量x和y
• x[i]和y[i]必须是正样本对
• x[i]和y[j]对于所有j≠i自动被视为负样本对

这意味着它不适合处理显式标记为负样本的配对数据，因为它的设计假设x[i]和y[i]总是正样本对。

处理显式正负标记的配对数据

对于包含显式正负标记的配对数据(1表示正对，0表示负对)，更合适的做法是直接使用NTXentLoss或ContrastiveLoss。实现的关键在于正确构造标签张量，使得：

• 相同标签的样本被视为正样本对
• 不同标签的样本被视为负样本对

实现示例

以下是一个处理配对数据的典型实现方式：

# 前向传播获取两个对象的嵌入表示
out1 = model(batch["graph1"])
out2 = model(batch["graph2"])

# 获取配对标签
y = batch["label"].to(bool)

# 合并所有嵌入表示
out = torch.cat((out1, out2))

# 构造初始标签
loss_fn_labels = torch.arange(len(out), device=out.device)

# 标记正样本对
labels_2n = torch.cat((y, y))

# 调整正样本对的标签使其匹配
temp = loss_fn_labels[labels_2n]
temp[len(temp) // 2 :] = temp[: len(temp) // 2]
loss_fn_labels[labels_2n] = temp

# 计算损失
loss = loss_fn(out, loss_fn_labels)

技术要点解析

1. 标签构造：通过巧妙构造标签张量，确保正样本对被正确识别
2. 负样本处理：所有未被显式标记为正样本的对自动被视为负样本
3. 批量处理：这种方法可以高效地处理批量数据中的所有可能配对

最佳实践建议

1. 对于显式标记正负样本的配对数据，优先考虑NTXentLoss或ContrastiveLoss
2. 确保正样本对在标签张量中被正确匹配
3. 考虑数据增强策略来增加正样本对的数量
4. 调整温度参数以优化模型性能

通过正确理解配对数据的特性和选择合适的损失函数，可以有效地训练出高质量的相似性学习模型。