PFL-Non-IID项目中Cifar100数据集训练准确率问题分析

问题背景

在使用PFL-Non-IID项目进行联邦学习实验时，研究人员发现了一个值得关注的现象：当使用resnet18模型在Cifar100数据集上进行训练时，即使将客户端数量设置为1（即模拟集中式训练场景），采用FedAvg或Local算法得到的测试准确率也难以超过50%，有时甚至低于40%。这与直接使用原始Cifar100数据集进行集中式训练时能达到65%左右的准确率形成了鲜明对比。

问题分析

数据集划分差异

经过深入分析，发现问题的根源在于数据集的划分方式存在显著差异：

1. 原始数据集划分：Cifar100原始数据集中，训练集与测试集的比例为5:1，这意味着有更多的数据可用于模型训练。

2. 项目默认划分：PFL-Non-IID项目中默认将训练集和测试集混合后重新划分为3:1的比例。这种划分方式导致：

   • 训练数据量相对减少
   • 测试数据量相对增加
   • 整体数据分布可能发生变化

训练数据量的重要性

在机器学习领域，训练数据量对模型性能有着决定性影响。当训练数据量减少时，模型更容易出现过拟合现象，表现为：

• 训练准确率较高但测试准确率较低
• 模型泛化能力下降
• 难以学习到数据中的普遍规律

项目设计理念

值得注意的是，PFL-Non-IID项目的设计遵循了特定的理念：

1. 尽可能不进行超参数调优
2. 在各种任务上尽量使用同一套超参数
3. 保持实验条件的一致性以便于算法比较

这种设计理念虽然有利于算法评估的公平性，但在特定数据集上可能无法获得最优性能。

解决方案建议

对于希望在PFL-Non-IID框架下进行集中式训练对比实验的研究人员，建议采取以下措施：

1. 修改数据划分比例：调整代码中的数据集划分逻辑，使其与原始数据集的5:1比例保持一致。

2. 保持数据分布一致性：确保训练集和测试集的分布特征与原始数据集相同。

3. 谨慎调整超参数：虽然项目提倡不调参，但在特定研究需求下可以适当调整学习率、批量大小等参数。

4. 验证数据预处理流程：检查数据增强等预处理步骤是否与集中式训练设置一致。

总结

这个案例提醒我们，在进行联邦学习与集中式学习的对比实验时，必须严格控制实验条件的一致性，特别是数据集的划分方式和数据量。PFL-Non-IID项目的设计更侧重于算法间的公平比较，而非追求每个数据集上的最优性能。研究人员应根据具体需求灵活调整实验设置，同时理解框架设计背后的理念和限制。