Plane-Based Optimization of Geometry and Texture for RGB-D Reconstruction of Indoor Scenes 使用教程

1. 项目介绍

Plane-Based Optimization of Geometry and Texture for RGB-D Reconstruction of Indoor Scenes 是一个用于室内场景的RGB-D重建项目，通过基于平面的几何和纹理优化，生成高质量的室内场景重建结果。该项目包含四个主要程序，分别用于网格分割、网格可见性计算、图像模糊估计和网格纹理优化。

主要功能

• 网格分割 (mesh_partition): 将密集网格基于平面进行分割和简化。
• 网格可见性计算 (mesh_visibility): 计算每个RGB-D帧中可见的网格顶点。
• 图像模糊估计 (blur_estimation): 估计RGB-D序列中彩色图像的模糊度。
• 网格纹理优化 (mesh_texture_opt): 基于输入的RGB-D序列、简化网格、可见性数据和模糊度，输出最终的纹理优化OBJ网格。

相关论文

• Wang, Chao, and Xiaohu Guo. "Plane-Based Optimization of Geometry and Texture for RGB-D Reconstruction of Indoor Scenes." 2018 International Conference on 3D Vision (3DV). IEEE, 2018.
• Wang, Chao, and Xiaohu Guo. "Efficient Plane-Based Optimization of Geometry and Texture for Indoor RGB-D Reconstruction." The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops. 2019.

2. 项目快速启动

环境准备

确保系统中已安装以下依赖库：

• Eigen
• OpenCV 2 or 3
• gflags
• GLEW (仅mesh_visibility需要)
• GLFW (仅mesh_visibility需要)
• GLM (代码已包含，仅mesh_visibility需要)

编译项目

在Linux系统中，可以通过运行以下脚本进行编译：

./build_linux.sh

运行项目

使用以下脚本运行整个管道：

./run_linux.sh

注意：在运行脚本前，请根据实际输入数据修改相关参数。

3. 应用案例和最佳实践

应用案例

• 室内场景重建: 使用RGB-D相机采集室内场景数据，通过该项目生成高质量的室内场景重建模型。
• 虚拟现实 (VR) 和增强现实 (AR): 将重建的室内场景模型用于VR和AR应用中，提供更真实的虚拟环境。

最佳实践

• 数据准备: 使用BundleFusion或3DLite数据作为输入，确保数据格式符合项目要求。
• 内存管理: 对于包含大量面的网格，确保系统有足够的内存（例如，1M面需要约20G内存）。
• 性能优化: 考虑引入OpenMP或GPU计算来加速项目中的耗时过程。

4. 典型生态项目

相关项目

• RGBDPlaneDetection: 用于RGB-D帧的平面检测，项目地址：https://github.com/chaowang15/RGBDPlaneDetection
• BundleFusion: 用于RGB-D数据的高质量重建，项目地址：https://github.com/niessner/BundleFusion
• 3DLite: 提供高质量的RGB-D数据集，项目地址：https://github.com/andyzeng/3d-lite

通过结合这些项目，可以构建更完整的RGB-D重建和优化流程。