【3dgs】 COLMAP-Free 3D Gaussian Splatting 使用教程

1. 项目介绍

COLMAP-Free 3D Gaussian Splatting（简称CF-3DGS）是一个用于三维场景重建和视图合成的开源项目。该项目由NVlabs开发，它能够无需COLMAP的预处理步骤，直接从图像中生成高质量的三维模型。CF-3DGS利用高斯分布对场景中的几何信息进行建模，并通过神经网络进行视图合成。

2. 项目快速启动

环境准备

• Python 3.10
• CUDA 11.6 或更高版本
• anaconda（推荐）

安装步骤

1. 创建并激活conda环境：

conda create -n cf3dgs python=3.10
conda activate cf3dgs

2. 安装CUDA工具包和相关依赖：

conda install conda-forge::cudatoolkit-dev=11.7.0
conda install pytorch==2.0.0 torchvision==0.15.0 pytorch-cuda=11.7 -c pytorch -c nvidia

3. 克隆项目仓库并安装所需库：

git clone --recursive [e-mail]:NVlabs/CF-3DGS.git
pip install -r requirements.txt

数据准备

在项目目录下创建一个名为data的文件夹，然后根据需要下载并放置对应的数据集。例如，使用Tanks and Temples数据集：

mkdir data
wget https://www.robots.ox.ac.uk/~wenjing/Tanks.zip
mv Tanks.zip data/
unzip data/Tanks.zip -d data/Tanks

训练模型

根据数据集类型运行训练脚本：

python run_cf3dgs.py -s data/Tanks/Francis --mode train --data_type tanks

评估模型

进行姿态估计：

python run_cf3dgs.py --source data/Tanks/Francis --mode eval_pose --data_type tanks --model_path ${CKPT_PATH}

进行新视角合成：

python run_cf3dgs.py --source data/Tanks/Francis --mode eval_nvs --data_type tanks --model_path ${CKPT_PATH}

其中${CKPT_PATH}是训练好的模型路径。

3. 应用案例和最佳实践

• 案例1：使用CF-3DGS对室内场景进行重建，然后利用合成的新视角图像创建虚拟现实体验。
• 案例2：在游戏开发中，利用CF-3DGS生成的三维模型和纹理，为游戏环境增加真实感。

4. 典型生态项目

• 项目1：利用CF-3DGS与ARKit或ARCore结合，实现增强现实中的应用。
• 项目2：结合SLAM技术，使用CF-3DGS进行实时的三维场景重建。