GNT项目使用与启动教程

1. 项目介绍

GNT（Generalizable NeRF Transformer）是一个基于Transformer架构的开源项目，旨在高效地重建神经辐射场（NeRFs）。与传统的方法不同，GNT通过两个Transformer阶段来实现场景表示和渲染的通用性：第一个阶段是视图Transformer，利用多视图几何作为归纳偏置进行场景表示；第二个阶段是射线Transformer，通过射线行进和注意机制直接解码采样点特征来渲染新视图。GNT在多种数据集上展示了优越的性能，并且能够从注意图中推断出深度和遮挡信息。

2. 项目快速启动

环境准备

在开始之前，请确保您的系统已安装以下依赖：

• Python 3.8
• CUDA 11.1
• PyTorch 1.10.1
• torchvision
• ConfigArgParse
• imageio
• matplotlib
• numpy
• opencv_contrib_python
• Pillow
• scipy
• imageio-ffmpeg
• lpips
• scikit-image

克隆仓库

首先，克隆GNT的GitHub仓库：

git clone https://github.com/MukundVarmaT/GNT.git
cd GNT/

数据集准备

接下来，下载并准备所需的数据集。数据集应下载到项目文件夹内的data/目录下，并按照以下结构组织：

data/
├── ibrnet_collected_1/
├── ibrnet_collected_2/
├── real_iconic_noface/
├── spaces_dataset/
├── RealEstate10K-subset/
├── google_scanned_objects/
├── nerf_synthetic/
├── nerf_llff_data/

具体的数据集准备方法请参考项目README文件。

训练模型

使用以下命令启动单个场景的训练：

python3 train.py --config configs/gnt_blender.txt --train_scenes drums --eval_scenes drums

或者启动跨场景的训练：

python3 train.py --config configs/gnt_full.txt

评估模型

单个场景评估的命令如下：

python3 eval.py --config configs/gnt_llff.txt --eval_scenes orchids --expname gnt_orchids --chunk_size 500 --run_val --N_samples 192

跨场景评估的命令如下：

python3 eval.py --config configs/gnt_full.txt --expname gnt_full --chunk_size 500 --run_val --N_samples 192

渲染视频

要渲染平滑相机路径的实时视频，请使用以下命令：

python3 render.py --config configs/gnt_llff.txt --eval_dataset llff_render --eval_scenes orchids --expname gnt_orchids --chunk_size 500 --N_samples 192

3. 应用案例和最佳实践

GNT项目在多个应用案例中展示了其强大的场景重建和渲染能力。以下是一些最佳实践：

• 在训练前确保数据集的质量和多样性。
• 使用合适的超参数来优化模型的性能。
• 在评估模型时，使用与训练时相同的配置和参数以确保一致性。

4. 典型生态项目

GNT项目是基于IBRNet项目的代码库构建的，因此与IBRNet相关的项目生态可以视为GNT的典型生态。此外，任何涉及神经辐射场和Transformer架构的项目都可以与GNT项目形成生态关系。