WoVoGen 的安装和配置教程

1. 项目基础介绍

WoVoGen（World Volume-aware Diffusion for Controllable Multi-camera Driving Scene Generation）是一个开源项目，旨在生成可控的多摄像头驾驶场景视频。该项目通过利用4D世界体积的概念，生成未来的世界体积（例如高清晰度地图和占有率）和高质量的多摄像头街景图像。它适用于增强自动驾驶数据集，满足对广泛和多样化数据的需求。

该项目主要使用 Python 编程语言。

2. 项目使用的关键技术和框架

• 体积渲染技术：用于生成街景视频的渲染技术。
• 扩散模型：一种生成模型，用于确保生成的传感器数据保持世界内部一致性和传感器间的一致性。
• 深度学习框架：如 PyTorch，用于构建和训练模型。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统中已经安装了以下依赖项：

• Python 3.9
• PyTorch 2.1.0

您还需要准备以下环境：

• NUSC_ROOT：指向 NuScenes 数据集的路径。
• NUSC_OCC_ROOT：指向 NuScenes 占有率数据集的路径。
• OUT_ROOT：用于存储生成的世界体积的输出路径。

安装步骤

1. 克隆项目到本地环境：

   git clone https://github.com/fudan-zvg/WoVoGen.git
   cd WoVoGen
   

2. 安装项目所需的 Python 包（请确保已安装 Python 3.9 和 PyTorch 2.1.0）：

   pip install -r requirements.txt
   

3. 生成世界体积：

   python tools/nuscenes_convertor.py \
   --nusc_root=$NUSC_ROOT \
   --nusc_occ_root=$NUSC_OCC_ROOT \
   --out_root=$OUT_ROOT \
   --vae  # 添加图像潜在变量到世界体积
   

4. 生成对象引导：

   python tools/clip_convertor.py
   

5. 添加权重到模型：

   python tools/add_weight.py \
   models/v2-1_512-ema-pruned.ckpt \
   models/wovogen_single.ckpt
   

6. 训练单个帧模型：

   python train_single_frame.py \
   --config_path models/cldm_v21_c64_256x448_6cat_clip_local_high_dim.yaml \
   --resume-path=models/wovogen_single.ckpt
   

按照以上步骤操作，您应该能够成功安装和配置 WoVoGen 项目。随后，您可以开始使用该项目生成多摄像头驾驶场景视频。