NVlabs/Sana模型复现中的FID指标差异问题分析

背景介绍

在计算机视觉领域，生成对抗网络(GAN)和扩散模型等生成模型的性能评估中，Fréchet Inception Distance(FID)是一个重要的量化指标。近期，有研究人员在使用NVlabs/Sana项目进行图像生成时，发现复现结果与论文报告存在显著差异。

问题现象

研究人员在使用Sana项目中的两个预训练模型时发现：

• 600M参数模型：论文报告FID为5.81，复现结果为15.31
• 1.6B参数模型：论文报告FID为5.92，复现结果为20.23

这种差异幅度明显超出了正常波动范围，表明可能存在系统性因素影响结果。

关键影响因素分析

浮点精度问题

浮点计算精度是影响扩散模型生成质量的关键因素之一。实验表明：

• 使用float32精度会显著降低生成质量
• 扩散模型通常需要保持原始训练时的精度设置(如bfloat16或float16)
• 精度降低会导致累积误差增大，影响生成图像的细节和保真度

评估方法差异

FID计算本身也存在多种实现方式和注意事项：

• 是否对多个类别分别计算后平均
• 使用的参考图像集是否完全一致
• 特征提取使用的Inception模型版本
• 样本数量的充分性(通常需要至少5万样本)

超参数设置

扩散模型的推理过程对超参数敏感：

• 采样步数(20步可能不足以保证收敛)
• 引导尺度(guidance scale)的精确控制
• 随机种子的设置方式
• 批处理大小的选择

解决方案建议

1. 精度设置：确保使用模型原始训练时的精度配置，避免不必要的类型转换

2. 评估流程标准化：

   • 使用足够数量的生成样本(建议5万以上)
   • 固定随机种子以保证可重复性
   • 确认参考图像集与论文完全一致

3. 超参数优化：

   • 尝试增加采样步数(如50-100步)
   • 微调引导尺度参数
   • 进行消融实验确定最佳组合

4. 硬件一致性：确保使用的计算设备(如GPU型号)支持所需的计算精度

结论

扩散模型的复现工作涉及多个精细的技术环节，任何细微的差异都可能导致评估指标的显著变化。研究人员需要系统性地检查计算精度、评估流程和超参数设置等关键因素，才能获得与原始论文一致的结果。这也反映了生成模型研究中对实验可重复性的高标准要求。