Nerfbusters 项目使用教程

1. 项目介绍

Nerfbusters 是一个开源项目，旨在从随意捕捉的神经辐射场（NeRFs）中移除幽灵般的伪影。该项目通过使用3D扩散先验和一种新颖的基于密度的分数蒸馏采样损失来优化NeRF，从而提高场景几何质量并移除浮动伪影。Nerfbusters 项目由Frederik Warburg、Ethan Weber、Matthew Tancik、Aleksander Hołyński 和 Angjoo Kanazawa 开发，并在ICCV 2023上发表。

2. 项目快速启动

2.1 环境设置

首先，创建并激活一个conda环境：

conda create --name nerfbusters -y python=3.8
conda activate nerfbusters

2.2 安装依赖

安装Nerfstudio和相关依赖：

pip install --upgrade pip
pip install torch==1.13.1 torchvision functorch --extra-index-url https://download.pytorch.org/whl/cu117
pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch

2.3 安装Nerfbusters

克隆并安装Nerfbusters项目：

git clone https://github.com/ethanweber/nerfbusters
cd nerfbusters
pip install -e .

2.4 下载ShapeNet数据集

下载并准备ShapeNet数据集：

mkdir bins
cd bins
wget -O binvox https://www.patrickmin.com/binvox/linux64/binvox?rnd=16811490753710
chmod +x binvox

2.5 训练3D扩散模型

训练Nerfbusters的3D扩散模型：

python nerfbusters/run.py --config config/shapenet.yaml --name shapenet-experiment

3. 应用案例和最佳实践

3.1 移除NeRF中的伪影

使用Nerfbusters移除NeRF中的伪影，首先训练一个Nerfacto模型：

ns-train nerfacto --data path/to/data

然后使用Nerfbusters进行后处理：

ns-train nerfbusters --data path/to/data --pipeline.nerf-checkpoint-path $NERF_CHECKPOINT_PATH nerfstudio-data --eval-mode train-split-fraction

3.2 渲染路径

渲染处理后的路径：

ns-render --load-config path/to/config.yml --traj filename --camera-path-filename path/to/camera-path.json --output-path renders/my-render.mp4

4. 典型生态项目

4.1 Nerfstudio

Nerfstudio 是一个用于NeRF训练和可视化的开源项目，Nerfbusters 依赖于Nerfstudio 进行部分功能实现。

4.2 Tiny-cuda-nn

Tiny-cuda-nn 是一个轻量级的CUDA神经网络库，用于加速Nerfbusters 中的3D扩散模型训练。

4.3 ShapeNet

ShapeNet 是一个大规模的3D模型数据集，Nerfbusters 使用ShapeNet 数据集来训练其3D扩散模型。

通过以上步骤，您可以快速启动并使用Nerfbusters 项目，移除NeRF中的伪影，并进行高质量的渲染。