Deformable Radial Kernel Splatting 开源项目教程

1. 项目介绍

Deformable Radial Kernel Splatting（DRK）是一个开源项目，它扩展了高斯核函数，加入了可学习的径向基，从而能够更灵活地模拟各种形状的基元。该项目通过引入控制锐度和边界曲率的参数，使得DRK能够适应不同形状和大小的基元，具有广泛的应用潜力。

2. 项目快速启动

环境搭建

首先，你需要创建并激活一个Python环境：

使用Conda：

conda create -n drkenv python=3.9
conda activate drkenv

使用Virtualenv：

virtualenv drkenv -p python3.9
source drkenv/bin/activate

然后安装项目依赖：

pip install -r requirements.txt

接着，安装子模块：

cd submodules/depth-diff-gaussian-rasterization
python setup.py install
cd ../drk_splatting
python setup.py install
cd ../simple-knn
python setup.py install
cd ..

UI演示

项目提供了一个UI演示，以帮助理解DRK属性和缓存排序的效果。运行以下脚本启动演示：

python drk_demo.py

转换网格到DRK

项目还提供了一个脚本，用于将网格资产转换为DRK表示，无需训练。指定场景路径后，可以混合渲染网格和重建的场景：

python mesh2drk.py

数据下载

根据以下链接下载数据集：

• MipNeRF-360
• DiverseScenes

运行代码

运行以下命令来训练和评估模型：

训练：

CUDA_VISIBLE_DEVICES=${GPU} python train.py -s ${PATH_TO_DATA} -m ${LOG_PATH} --eval --gs_type DRK --kernel_density dense --cache_sort

评估：

CUDA_VISIBLE_DEVICES=${GPU} python train.py -s ${PATH_TO_DATA} -m ${LOG_PATH} --eval --gs_type DRK --kernel_density dense --cache_sort --metric

3. 应用案例和最佳实践

• 参数调整：通过调整DRK的参数，可以控制形状的锐度和边界曲率，以适应不同的场景和需求。
• 渲染模式切换：在UI演示中切换渲染模式（正常、透明度、深度、RGB），以观察不同渲染效果。
• 缓存排序：在训练和评估时使用缓存排序，可以避免弹出效应，并略微提高PSNR。

4. 典型生态项目

目前，与DRK相关的生态项目包括但不限于以下几种：

• 深度学习框架：如TensorFlow、PyTorch等，用于模型的训练和测试。
• 3D建模工具：如Blender、Maya等，用于创建和编辑3D模型。
• 图形渲染库：如OpenGL、DirectX等，用于模型的渲染。

以上就是Deformable Radial Kernel Splatting开源项目的最佳实践方式。通过以上步骤，你可以快速上手该项目，并在实际应用中探索更多可能性。