F2-NeRF 开源项目使用教程

1. 项目介绍

F2-NeRF 是一个用于快速神经辐射场训练的开源项目，特别适用于自由相机轨迹的场景。该项目通过引入一种名为 F2-NeRF（Fast-Free-NeRF）的新型网格化 NeRF，能够在几分钟内完成训练，并且支持任意输入相机轨迹。F2-NeRF 的核心创新在于提出了一种新的空间扭曲方法——透视扭曲，使得在网格化 NeRF 框架中能够处理任意轨迹。

2. 项目快速启动

2.1 安装依赖

首先，确保你的系统已经安装了必要的依赖。对于基于 Debian 的 Linux 发行版，可以使用以下命令：

sudo apt install zlib1g-dev

对于基于 Arch 的 Linux 发行版，可以使用以下命令：

sudo pacman -S zlib

2.2 克隆项目仓库

使用 Git 克隆 F2-NeRF 项目仓库：

git clone --recursive https://github.com/Totoro97/f2-nerf.git
cd f2-nerf

2.3 下载预编译的 LibTorch

下载并解压预编译的 LibTorch 库。以下是一个示例命令：

cd External
wget https://download.pytorch.org/libtorch/cu117/libtorch-cxx11-abi-shared-with-deps-1.13.1%2Bcu117.zip
unzip libtorch-cxx11-abi-shared-with-deps-1.13.1%2Bcu117.zip

2.4 编译项目

使用 CMake 编译项目：

cmake -B build
cmake --build build --target main --config RelWithDebInfo -j

2.5 运行训练

使用以下命令启动 F2-NeRF 的训练：

python scripts/run.py --config-name=wanjinyou dataset_name=example case_name=ngp_fox mode=train +work_dir=$(pwd)

3. 应用案例和最佳实践

3.1 数据集准备

F2-NeRF 支持自定义数据集。首先，确保你的图像数据位于以下路径：

/data/<your-dataset-name>/<your-case-name>/images

3.2 运行 COLMAP SfM

使用 COLMAP 进行运动结构恢复（SfM）：

bash scripts/local_colmap_and_resize.sh /data/<your-dataset-name>/<your-case-name>

如果 COLMAP 失败，可以使用 hloc：

bash scripts/local_hloc_and_resize.sh /data/<your-dataset-name>/<your-case-name>

3.3 生成相机文件

生成相机文件：

python scripts/colmap2poses.py --data_dir /data/<your-dataset-name>/<your-case-name>

3.4 运行 F2-NeRF

使用以下命令运行 F2-NeRF：

python scripts/run.py --config-name=wanjinyou \
  dataset_name=<your-dataset-name> case_name=<your-case-name> mode=train \
  +work_dir=$(pwd)

4. 典型生态项目

F2-NeRF 作为一个快速神经辐射场训练工具，可以与其他相关项目结合使用，例如：

• Instant-NGP: 用于快速网格化 NeRF 训练的框架。
• Plenoxels: 另一个用于快速 NeRF 训练的项目。
• TensoRF: 基于张量的辐射场表示方法。

这些项目可以与 F2-NeRF 结合，进一步提升神经辐射场的训练效率和质量。