GSRec 的安装和配置教程

1. 项目的基础介绍和主要的编程语言

GSRec 是一个基于深度学习的表面重建项目，它通过3D高斯散点技术来实现表面重建，并利用局部结构提示来增强重建效果。该项目旨在设计一种与表面对齐的高斯散点方法，以改善表面重建的质量。主要编程语言为 Python，同时使用了 Cuda 和 C++ 来加速计算。

2. 项目使用的关键技术和框架

• 高斯散点（3D Gaussian Splatting）：一种用于表面重建的技术，通过将3D空间中的点云转换为高斯分布的散点，再通过散点重建出表面。

• 神经隐式表示（Neural Implicit Representation）：用于优化和正则化由3D高斯散点形成的移动最小二乘场。

• PyTorch：一个流行的深度学习框架，用于构建和训练神经网络模型。

• Colmap：用于从图像序列中恢复相机姿态和稀疏点云的 Structure-from-Motion（SfM）工具。

3. 项目安装和配置的准备工作和详细的安装步骤

准备工作

• 确保你的操作系统是 Ubuntu 22.04。
• 安装 CUDA 11.6 和 GCC 9.5。
• 安装 conda 或其他 Python 环境管理工具。

安装步骤

1. 克隆项目仓库：

   git clone https://github.com/QianyiWu/gsrec --recursive
   cd gsrec
   

2. 创建并激活 conda 环境：

   conda env create --file environment.yml
   conda activate gsrec
   

3. 下载预处理的 Replica 数据集（如果需要）并放置在 data 文件夹中。数据集结构应如下所示：

   data/
   ├── dataset_name ("replica" in this case)
   │   ├── scan1/
   │   │   ├── images
   │   │   │   ├── IMG_0.jpg
   │   │   │   ├── IMG_1.jpg
   │   │   │   ├── ...
   │   │   ├── sparse/
   │   │       └──0/
   ├── scan2/
   │   ├── images
   │   │   ├── IMG_0.jpg
   │   │   ├── IMG_1.jpg
   │   │   ├── ...
   │   │   ├── sparse/
   │   │       └──0/
   ...
   

4. 对于自定义数据，使用 Colmap 处理图像序列以获取 SfM 点和相机姿态，并将结果放入 data/ 文件夹。

5. 训练单个场景，以 Replica 的 scan1 为例：

   ./train_single.sh
   

   这将把结果保存到 outputs/scan1。训练大约需要1小时完成。

6. 评估和提取网格，以下代码可用于提取网格：

   python extract_mesh.py -m outputs/scan1 --mesh_type poisson
   

以上步骤完成后，你就可以开始使用 GSRec 进行表面重建任务了。