GSplat项目中MCMC训练器在Mip360数据集上的性能复现分析

背景介绍

在3D高斯泼溅(GSplat)项目中，MCMC训练器是一种基于马尔可夫链蒙特卡洛方法的优化算法，用于3D场景的重建和渲染。近期有开发者反馈，在使用simple_trainer_mcmc.py脚本对Mip360数据集进行训练时，无法复现项目文档中报告的性能指标。

问题现象

开发者在使用默认配置的simple_trainer_mcmc.py脚本训练Mip360数据集时，发现MCMC方法的渲染质量明显低于Splatfacto方法。具体表现为PSNR、SSIM等指标显著下降，且渲染图像出现明显的质量缺陷，如细节丢失和模糊等问题。

原因分析

经过深入调查，发现导致性能差异的主要原因有以下几点：

1. 数据降采样因子配置不当：Mip360数据集中的不同场景需要采用不同的降采样因子。正确的配置应为：

   • bicycle: 4
   • bonsai: 2
   • counter: 2
   • garden: 4
   • stump: 4
   • kitchen: 2
   • room: 2

2. 评估时机问题：simple_trainer_mcmc.py脚本默认在7000步时进行评估，而最佳性能通常出现在更晚的训练阶段。

3. 环境依赖：性能测试是在特定硬件环境(A100 GPU)和软件版本(PyTorch 2.1.2 + CUDA 11.8)下完成的，环境差异可能导致性能波动。

解决方案

要正确复现MCMC训练器在Mip360数据集上的性能，需要采取以下措施：

1. 正确设置数据降采样因子：针对每个场景使用特定的降采样因子，而不是统一使用4倍降采样。

2. 完整训练流程：确保训练达到足够的迭代次数，不要仅依赖7000步的中间结果进行评估。

3. 环境配置：建议使用与基准测试相同的环境配置，特别是PyTorch版本应避免使用已知有问题的2.0.1版本。

性能对比

在正确配置下，MCMC方法能够达到与Splatfacto相当甚至更好的渲染质量。两种方法各有特点：

• MCMC方法：优势在于能够更好地处理复杂光照和材质，在部分场景中能获得更真实的渲染效果
• Splatfacto方法：训练速度通常更快，但对某些复杂场景的适应性稍逊

实践建议

对于希望使用GSplat项目的研究人员和开发者，建议：

1. 仔细阅读项目文档中的配置说明
2. 针对不同数据集和场景调整参数
3. 使用项目提供的专用基准测试脚本进行性能评估
4. 注意记录训练环境和参数配置，确保结果可复现

通过正确的配置和使用方法，MCMC训练器能够在Mip360等复杂数据集上展现出优秀的3D重建和渲染能力。