Shape As Points 项目教程

1. 项目介绍

Shape As Points (SAP) 是一个用于3D形状重建的开源项目，由Songyou Peng等人开发，并在NeurIPS 2021上发表。该项目通过引入一个可微分的泊松表面重建（Poisson Surface Reconstruction, PSR）层，将点云与网格之间的转换变得可微分，从而实现了高效的3D表面重建。

SAP模型结合了显式和隐式形状表示的优点，既具有显式表示的轻量级和可解释性，又具有隐式表示的高质量表面生成能力。与传统的神经隐式表示相比，SAP模型在推理时间上快了一个数量级，并且生成的表面是拓扑无关的、水密的。

2. 项目快速启动

安装依赖

首先，确保你已经安装了Anaconda。然后，创建并激活一个名为sap的Anaconda环境：

conda env create -f environment.yaml
conda activate sap

接下来，安装PyTorch3D和PyTorch Scatter：

conda install pytorch-scatter -c pyg

下载演示数据

运行以下脚本以获取演示数据：

bash scripts/download_demo_data.sh

优化基于的3D表面重建

你可以使用以下命令快速测试项目代码：

python optim_hierarchy.py configs/optim_based/teaser.yaml

该脚本将在out/demo_optim文件夹中生成输出网格和优化后的定向点云。

学习基于的3D表面重建

对于带有大量噪声的点云，你可以运行：

python generate.py configs/learning_based/demo_large_noise.yaml

结果可以在out/demo_shapenet_large_noise/generation/vis中找到。

对于带有异常值的点云，你可以运行：

python generate.py configs/learning_based/demo_outlier.yaml

结果可以在out/demo_shapenet_outlier/generation/vis中找到。

3. 应用案例和最佳实践

优化基于的3D重建

SAP可以用于从仅包含噪声的未定向点云或扫描数据中进行3D重建。例如，可以从一个带有噪声的点云中重建出一个高质量的3D模型。

学习基于的3D重建

SAP还可以用于训练深度神经网络的参数，以处理大量噪声和异常值。通过使用预训练模型，可以快速生成高质量的3D模型。

4. 典型生态项目

ConvONet

ConvONet是一个基于卷积神经网络的3D重建项目，与SAP类似，它也利用了神经隐式表示来进行3D形状重建。

NICE-SLAM

NICE-SLAM是一个用于SLAM（同步定位与地图构建）的开源项目，它结合了神经隐式表示和显式表示，以实现高效的实时3D重建。

UNISURF

UNISURF是一个用于无监督3D表面重建的项目，它通过结合显式和隐式表示，实现了高质量的3D表面生成。

KiloNeRF

KiloNeRF是一个用于快速神经辐射场（NeRF）渲染的项目，它通过高效的神经网络结构，实现了快速的3D场景渲染。

通过结合这些生态项目，可以进一步扩展SAP的应用场景，实现更复杂的3D重建任务。