Latte项目UCF-101数据集FVD评估实践指南

在视频生成领域，Fréchet Video Distance (FVD)是评估生成视频质量的重要指标之一。本文基于Latte项目中的实践经验，详细介绍如何在UCF-101数据集上正确进行FVD评估。

数据集准备

UCF-101数据集原始结构为多级目录，每个子目录包含AVI格式的视频文件。为了进行FVD评估，需要先将视频转换为帧图像格式。转换后的目录结构应保持与原始视频对应的关系，每个视频对应一个子目录，其中包含该视频的所有帧图像。

值得注意的是，UCF-101数据集中的视频长度不一，转换后各子目录中的图像数量也会不同。这是数据集的固有特性，不影响后续评估。

评估流程

FVD评估需要准备两个数据集：

1. 真实数据集：UCF-101转换后的帧图像
2. 生成数据集：模型生成的视频转换后的帧图像

评估命令示例如下：

python tools/calc_metrics_for_dataset.py \
    --real_data_path /path/to/UCF-101-frames \
    --fake_data_path /path/to/generated-frames \
    --mirror 1 \
    --gpus 1 \
    --resolution 256 \
    --metrics fvd2048_16f \
    --verbose 0 \
    --use_cache 0

关键参数说明：

• fvd2048_16f表示使用2048个16帧的视频片段进行评估
• resolution 256指定输入分辨率
• gpus 1表示使用单GPU进行评估

注意事项

1. 样本数量：论文建议使用2048个视频片段进行评估，这是获得稳定FVD结果的最小样本量。

2. 帧数处理：虽然原始视频可能包含多于16帧，但评估时会自动截取16帧进行计算。

3. 结果差异：不同随机种子可能导致FVD结果存在一定波动，这是正常现象。

4. 训练数据：当使用帧图像进行训练时，数据量会显著增加（从13,320个视频增加到约2,502,480个视频片段），需要在配置文件中正确指定帧数据路径。

调试建议

如果在数据集准备阶段遇到问题，可以先单独调试数据集加载：

python datasets/ucf101_image_datasets.py

这将帮助确认数据集是否正确加载，以及转换后的帧图像是否符合预期格式。

通过遵循上述流程，研究人员可以在Latte项目框架下，准确评估视频生成模型在UCF-101数据集上的FVD指标，为模型性能提供可靠的量化评估。