Fillerbuster: 多视角场景补全的最佳实践

1. 项目介绍

Fillerbuster 是一个用于解决多种场景补全任务的多视角扩散模型。该项目从零开始训练，为用户提供了训练和推理的代码。Fillerbuster 可以处理各种场景，包括 casual captures 的场景补全，适用于多种应用场景。

2. 项目快速启动

在开始使用 Fillerbuster 之前，您需要准备相应的环境并安装必要的依赖项。

环境准备

首先，创建并激活 fillerbuster 环境：

conda create -n fillerbuster python=3.10 -y
conda activate fillerbuster

安装依赖

接下来，安装 PyTorch 和其他必需的依赖项：

pip install torch torchvision --index-url https://download.pytorch.org/whl/124
pip install -e .

下载权重和推理数据

• 下载 Fillerbuster 权重，并将其放置在 checkpoints 文件夹中。
• 下载 CLIP 权重到 checkpoints 文件夹。
• 下载其他工作的数据集，如 LERF、Nerfbusters、NeRFiller 和 Nerfstudio，并将 data.zip 文件解压到指定的 data 文件夹。
• 下载项目的视频文件，并将其放置在 data/videos 文件夹中。

运行推理

Fillerbuster 提供了一个 demo.ipynb 文件，作为运行推理的示例。您可以根据自己的需求修改和运行该文件。

3. 应用案例和最佳实践

以下是几个应用案例和最佳实践：

完成随意捕获的场景

使用以下命令来补全随意捕获的场景：

ns-train fillerbuster --data data/nerfbusters-dataset/picnic --output-dir outputs/nerfstudio-outputs nerfstudio-data --eval-mode filename

未校准的场景补全

运行以下命令来处理视频数据：

python fillerbuster/scripts/run_uncalibrated_scene_completion.py --data data/videos/couch.mov --output-dir outputs/uncalibrated-outputs

补全被遮挡的3D区域

使用以下命令来补全 NeRFiller 数据集中的被遮挡3D区域：

ns-train fillerbuster --data data/nerfiller-dataset/billiards --output-dir outputs/nerfstudio-outputs --pipeline.inpainter nerfiller --pipeline.dilate-iters 5 --pipeline.context-size 32 --pipeline.densify-num 0 --pipeline.anchor-rotation-num 0 --pipeline.anchor-vertical-num 0

4. 典型生态项目

Fillerbuster 项目是一个开源项目，它依赖于其他开源项目，如 diffusers、nerfstudio、torchmetrics 和 transformers。这些项目构成了 Fillerbuster 的生态系统，为它的开发和改进提供了支持。

在采用 Fillerbuster 时，您可以探索这些相关项目，了解它们如何协同工作，以及如何为您的具体需求做出贡献。通过贡献社区和遵循最佳实践，您可以进一步推动开源生态的发展。