MagicDriveDiT项目安装与配置指南

1. 项目基础介绍

MagicDriveDiT是一个开源项目，旨在实现自动驾驶中高分辨率长视频的生成，具有多样的3D几何控制和多视角一致性。该项目基于DiT架构，通过流匹配增强可扩展性，并采用逐步训练策略处理复杂场景。

主要编程语言：Python

2. 项目使用的关键技术和框架

• DiT架构：用于视频生成的核心架构。
• 流匹配：增强项目在处理高分辨率长视频时的可扩展性。
• 逐步训练策略：处理复杂场景，提高训练效果。
• 空间时间条件编码：实现对时空潜在变量的精确控制。
• ColossalAI：用于分布式训练的框架。
• PyTorch：深度学习框架，用于模型训练和推理。
• T5 Encoder：文本编码器，用于项目中的某些部分。
• 3DVAE：用于视频生成中的编码器。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统满足以下要求：

• 操作系统：Linux或macOS
• Python版本：3.7及以上
• GPU：NVIDIA或Ascend服务器

安装步骤

克隆项目仓库

首先，您需要克隆项目仓库到本地：

git clone https://github.com/flymin/MagicDriveDiT.git

设置Python环境

接下来，为项目设置Python环境。根据您使用的服务器类型，环境配置会有所不同。

NVIDIA服务器

确保您的环境中安装以下包：

• torch==2.4.0
• torchvision==0.19.0
• apex
• xformers>=0.0.27
• flash-attn>=2.6.3

安装ColossalAI：

git clone https://github.com/flymin/ColossalAI.git
git checkout pt2.4 && git pull
cd ColossalAI
BUILD_EXT=1 pip install .

安装其他依赖：

pip install -r requirements/requirements.txt

对于Ascend服务器，请根据官方文档设置PyTorch环境，并按照以下步骤安装依赖：

• torch==2.3.1
• torchvision==0.18.1
• torch-npu==2.3.1
• apex
• xformers==0.0.27

安装ColossalAI（Ascend版）：

git clone https://github.com/flymin/ColossalAI.git
git checkout ascend && git pull
cd ColossalAI
BUILD_EXT=1 pip install .

安装其他依赖：

pip install -r requirements/requirements.txt

准备预训练权重和数据集

从官方提供的链接下载预训练的VAE和Text Encoder权重，并将它们放置在项目目录下的pretrained/文件夹中。

准备nuScenes数据集，按照项目提供的指南进行数据预处理。

开始使用

完成上述步骤后，您就可以开始使用MagicDriveDiT项目进行训练或推理了。具体的命令和配置请参考项目仓库中的README.md文件。

---

确保在每一步安装过程中都仔细阅读并遵循项目的官方文档，以便顺利完成安装和配置。