E3DGE项目使用与启动教程

1. 项目介绍

E3DGE是一种基于编码器的3D风格GAN反转框架，能够实现高质量形状和纹理的重构。本项目由Nanyang Technological University的S-Lab和Shanghai Artificial Intelligence Laboratory合作开发，并在CVPR 2023上发表。E3DGE通过自我监督的几何感知编码器，为基于风格的3D GAN提供了高质量的编辑和纹理反转功能。

2. 项目快速启动

环境准备

• NVIDIA显卡（推荐使用NVIDIA T4或V100）
• 安装Anaconda以管理Python环境

conda create --name e3dge python=3.8
conda activate e3dge
conda install -c conda-forge ffmpeg
conda install pytorch==1.9.0 torchvision==0.10.0 torchaudio==0.9.0 cudatoolkit=10.2 -c pytorch
conda install -c fvcore -c iopath -c conda-forge fvcore iopath
pip install -r requirements.txt

模型下载

• 下载预训练的3D生成器和编码器

python download_models.py

• 下载预处理后的CelebA-HQ测试集

python download_test_data.py

推断示例

• 新视图合成

bash scripts/test/demo_view_synthesis.sh

• 语义编辑

bash scripts/test/demo_editing.sh

• 3D卡通化

bash scripts/test/demo_toonify.sh

训练示例

• 下载预训练模型和预处理后的测试集

python download_models.py
python download_datasets.py

• 第一阶段训练（自我监督的合理形状反转）

bash scripts/train/ffhq/stage1.sh

• 第二阶段训练（局部特征融合为高保真反转）

bash scripts/train/ffhq/stage2.1.sh

• 第二阶段训练（混合特征对齐为高质量编辑）

bash scripts/train/ffhq/stage2.2.sh

3. 应用案例和最佳实践

• 使用预训练的模型进行新视图合成，可以用于虚拟现实应用中的实时渲染。
• 应用语义编辑功能，为图像处理和增强现实提供新的交互方式。
• 通过3D卡通化功能，为动画制作提供新的工具。

4. 典型生态项目

• StyleSDF：本项目构建在StyleSDF的源代码之上，为GAN反转提供了新的方法和视角。
• 其他相关的3D GAN项目，如GAN-Inversion、Neural-Rendering等，都是E3DGE项目的有益补充。