SecretFlow 隐语项目中 SplitRec 拆分学习的标签推断攻击验证

概述

在联邦学习场景下，SplitRec 是一种常见的拆分学习框架，它允许参与方在不直接共享原始数据的情况下协同训练模型。然而，这种框架也可能面临安全风险，特别是标签推断攻击（Label Inference Attack）。本文详细记录了在 SecretFlow 隐语项目中验证 SplitRec 框架下标签推断攻击的过程与结果。

实验环境搭建

验证实验首先需要搭建 SecretFlow 的运行环境。我们使用 Python 3.8 及以上版本，并安装了最新版的 SecretFlow 框架。环境配置完成后，通过简单的导入测试确认框架功能正常。

数据准备阶段

实验中使用了模拟的垂直联邦学习数据集，包含特征数据和标签数据。数据集被划分为训练集和测试集，并按照参与方的角色（如客户端和服务器）进行分配。数据预处理包括标准化和分批处理，以适应深度学习模型的训练需求。

模型架构设计

SplitRec 框架的核心是拆分学习模型（SLModel），我们设计了以下组件：

1. 底部模型：部署在客户端，处理原始特征数据
2. 顶部模型：部署在服务器端，接收来自客户端的嵌入并完成最终预测
3. 攻击者模型：专门设计用于实施标签推断攻击

模型采用全连接神经网络结构，使用 ReLU 激活函数，并配置了适当的损失函数和优化器。

攻击模型构建

标签推断攻击的关键在于构建有效的攻击者模型：

1. 攻击者模型结构：采用多层感知机，输入为中间嵌入特征，输出为预测标签
2. 攻击数据准备：收集模型训练过程中产生的中间嵌入和梯度信息
3. 攻击策略：利用监督学习方式训练攻击者模型，使其能够从中间表示中推断出原始标签

训练与攻击过程

实验按照以下步骤进行：

1. 主模型训练：SplitRec 模型在正常模式下进行训练
2. 攻击者训练：在模型训练的同时，攻击者收集必要信息并训练自己的推断模型
3. 攻击评估：使用测试集评估攻击者推断标签的准确率

实验结果分析

实验结果显示，攻击者能够以较高的准确率推断出原始标签，证实了 SplitRec 框架在这种攻击场景下的脆弱性。具体表现包括：

• 攻击准确率显著高于随机猜测
• 随着主模型训练轮次增加，攻击效果有所提升
• 不同网络结构对攻击效果有显著影响

安全建议

基于实验结果，我们提出以下安全增强建议：

1. 引入差分隐私技术，在梯度传递时添加噪声
2. 采用安全聚合方法，防止单个参与方获取完整梯度信息
3. 设计专门的防御机制检测和抵抗标签推断攻击
4. 定期进行安全审计和风险评估

结论

本次验证实验成功复现了 SplitRec 框架下的标签推断攻击，证实了该安全威胁的严重性。实验结果强调了在设计和部署拆分学习系统时考虑安全因素的重要性。未来工作可以进一步探索更强大的防御机制，在保证模型性能的同时提高系统安全性。