AdaWorld项目安装与数据集准备指南

环境配置

AdaWorld项目推荐使用conda进行环境管理，确保系统已安装NVIDIA显卡驱动和CUDA 11.8。我们建议使用NVIDIA A100(80GB)或性能相当的GPU进行开发测试。

执行以下命令创建并激活conda环境：

conda create -n adaworld python=3.10 -y
conda activate adaworld
pip install -r requirements.txt

环境配置完成后，建议运行简单的测试脚本验证CUDA和PyTorch是否正常工作。

数据集准备

AdaWorld支持多种游戏和现实世界视频数据集，下面详细介绍数据准备流程。

游戏视频数据生成

项目提供了自动化生成游戏视频数据的脚本，支持Procgen和Gym Retro两类游戏环境。

1. Gym Retro环境配置

建议为游戏数据生成单独创建conda环境：

conda create -n retro python=3.8
conda activate retro
pip install gym-retro

需要手动导入游戏ROM文件，这些文件可以从合法渠道获取。确保导入的游戏ROM包含论文中提到的所有游戏环境。项目还额外支持12个来自Stable-Retro的游戏。

2. 视频采样

执行以下脚本生成训练和测试视频：

mkdir data
python sample_procgen.py
python sample_retro.py
python sample_stableretro.py

可通过修改脚本中的num_logs和timeout参数控制生成视频的数量和长度。生成的数据目录结构如下：

data/
├── procgen/
│   ├── bigfish/
│   │   ├── test/
│   │   └── train/
│   └── bossfight/
│       ├── test/
│       └── train/
└── retro/
    ├── 3NinjasKickBack-Genesis/
    │   ├── test/
    │   └── train/
    └── 8Eyes-Nes/
        ├── test/
        └── train/

其他支持的数据集

AdaWorld还支持以下公开数据集，用户可根据需要选择下载：

1. Open X-Embodiment数据集

   • 提取所有可用的视频序列，不考虑视角差异
   • 提供预处理脚本提取原始视频

2. Ego4D数据集

   • 需要使用完整规模(full_scale)数据集
   • 需要先获取使用授权
   • 建议下载后调整视频尺寸以节省存储空间

3. Something-Something V2数据集

   • 包含丰富的人类日常动作视频

4. MiraData数据集

   • 主要使用前8K视频(3D渲染游戏和城市漫步)
   • 提供360p分辨率下载脚本
   • 可根据存储空间下载更多视频

数据集预处理建议

1. 视频格式统一转换为MP4格式
2. 建议分辨率调整为360p或480p以平衡质量和性能
3. 对长视频进行分段处理
4. 建立规范的目录结构便于管理

注意事项

1. 确保有足够的存储空间，完整数据集可能需要数TB空间
2. 游戏ROM文件需从合法渠道获取
3. 部分数据集需要申请使用授权
4. 建议使用SSD存储以提高数据读取速度
5. 可考虑使用符号链接管理分布在多个磁盘的数据

完成数据准备后，即可开始模型训练流程。建议先使用小规模数据集验证环境配置是否正确。