GNT项目安装与配置指南

1. 项目基础介绍

GNT（Generalizable NeRF Transformer）是一个基于Transformer架构的开源项目，旨在高效地实时重建神经辐射场（NeRFs）。该项目由VITA-Group开发，主要使用Python语言，结合了深度学习和计算机视觉技术。

2. 项目使用的关键技术和框架

• Transformer架构：GNT采用了Transformer架构，包括视图转换器（View Transformer）和射线转换器（Ray Transformer），以实现通用的神经场景表示和渲染。
• 多视图几何：利用多视图几何作为归纳偏置，为注意力机制提供场景表示。
• 射线行进：通过射线行进方法渲染新视图，并直接使用注意力机制解码采样点特征序列。

项目所依赖的主要框架和库包括：

• PyTorch：用于构建和训练神经网络。
• Torchvision：用于图像处理。
• OpenCV：用于图像和视频处理。

3. 项目安装和配置

准备工作

在开始安装之前，请确保您的系统满足以下要求：

• Python版本：3.8
• CUDA版本：11.1
• PyTorch版本：1.10.1

确保已安装以下依赖库：

• torchvision
• ConfigArgParse
• imageio
• matplotlib
• numpy
• opencv-contrib-python
• Pillow
• scipy
• imageio-ffmpeg
• lpips
• scikit-image

安装步骤

1. 克隆项目仓库：

   git clone https://github.com/VITA-Group/GNT.git
   cd GNT/
   

2. 准备数据集：

   • 项目使用的数据集与IBRNet相同。您需要下载以下数据集并放在项目文件夹内的data/目录下。
   • 下载和准备数据集的步骤如下：

     mkdir data
     cd data/
     # 下载IBRNet数据集
     gdown https://drive.google.com/uc?id=1rkzl3ecL3H0Xxf5WTyc2Swv30RIyr1R_ && unzip ibrnet_collected.zip
     # 下载LLFF数据集
     gdown https://drive.google.com/uc?id=1ThgjloNt58ZdnEuiCeRf9tATJ-HI0b01 && unzip real_iconic_noface.zip
     # 移除测试集中的场景
     cd real_iconic_noface/
     rm -rf data2_fernvlsb data2_hugetrike data2_trexsanta data3_orchid data5_leafscene data5_lotr data5_redflower
     cd ..
     # 下载其他数据集，如Spaces dataset、RealEstate 10k、Google Scanned Objects等
     # 确保安装ffmpeg
     sudo apt-get install ffmpeg
     

3. 安装依赖库：

   • 如果尚未安装上述依赖库，请使用以下命令安装：

     pip install torchvision ConfigArgParse imageio matplotlib numpy opencv-contrib-python Pillow scipy imageio-ffmpeg lpips scikit-image
     

完成以上步骤后，您就可以开始使用GNT项目进行训练、评估和渲染了。具体的训练和评估命令请参考项目仓库中的README.md文件。