PFL-Non-IID项目中Shakespeare数据集处理问题解析

问题背景

在使用PFL-Non-IID项目进行联邦学习实验时，研究人员发现当尝试在Shakespeare数据集上运行FedAvg算法和LSTM模型时，遇到了几个关键的技术问题。这些问题主要涉及数据预处理、模型输入格式以及数据集划分等方面。

核心问题分析

1. 数据文件保存格式差异

项目中的generate_Shakespeare.py与generate_MNIST.py在保存.npz文件时采用了不同的命名规范。这种不一致性导致utils/data_utils.py中的read_data()方法无法正确找到对应的文件路径。

技术细节：

• MNIST数据生成器使用标准化的命名约定
• Shakespeare数据生成器采用了不同的文件命名策略
• 这种差异导致路径解析失败

2. 模型输入维度不匹配

当尝试修正第一个问题后，系统又出现了模型输入维度不匹配的错误。具体表现为LSTM模型期望接收两个参数(text和text_lengths)，但实际传入的却是一个(10,80)维度的张量。

深入分析：

• LSTM模型设计预期输入为文本序列及其长度
• 实际数据预处理流程产生了单张量输入
• 这种维度不匹配导致模型无法正确前向传播

3. 数据集划分机制

与MNIST等数据集不同，Shakespeare数据集直接使用了LEAF框架的预划分方式，因此不需要设置non-iid、balance等划分参数。

技术实现：

• LEAF框架提供了标准化的数据集划分
• 这种划分已经考虑了联邦学习的特性
• 避免了人工划分可能引入的偏差

解决方案

针对上述问题，项目维护者已经提供了修复方案：

1. 统一了数据文件的保存和命名规范
2. 调整了数据预处理流程，确保与模型输入要求匹配
3. 保留了LEAF框架的原生划分方式，确保数据分布合理性

实践建议

对于希望在PFL-Non-IID项目中使用Shakespeare数据集的研究人员，建议：

1. 使用最新版本的项目代码，确保已包含相关修复
2. 理解LSTM模型对输入数据的特殊要求
3. 注意不同数据集预处理流程的差异
4. 充分利用LEAF框架提供的数据划分优势

总结

在联邦学习研究中，数据预处理和模型输入的适配是常见的技术挑战。PFL-Non-IID项目通过标准化处理流程和利用成熟框架，为研究人员提供了可靠的基础设施。理解这些技术细节有助于更高效地进行实验和研究工作。