Gaussian Splatting项目中的CUDA内存分配问题分析与解决方案

问题背景

在使用Gaussian Splatting项目进行mip-nerf-360数据集训练时，部分机器上出现了严重的CUDA内存分配异常。具体表现为系统尝试分配67109892.01 GiB的显存，这显然远超任何现有GPU的显存容量。该问题在不同数据集上都会重现，但在不同机器上的表现不一致，有些机器可以正常训练，有些则会出现此错误。

问题现象

错误信息显示CUDA尝试分配异常大量的显存(67109892.01 GiB)，而实际GPU总容量仅为23.69 GiB，其中17.17 GiB空闲。PyTorch已分配6.16 GiB内存，保留但未分配的内存为21.80 MiB。错误提示建议调整max_split_size_mb参数以避免内存碎片。

根本原因分析

经过深入调查，发现该问题与CUDA版本存在直接关联。具体表现为：

1. 在CUDA 12.3环境下运行时会出现此异常
2. 在CUDA 12.1及以下版本中则可以正常运行
3. 问题可能与CUDA 12.3版本中的内存管理机制变更有关

解决方案

针对此问题，推荐以下解决方案：

1. 降级CUDA版本：将CUDA从12.3降级至12.1或更低版本
2. 环境隔离：使用conda或docker创建独立的CUDA 12.1环境
3. 内存参数调整：尝试设置PYTORCH_CUDA_ALLOC_CONF环境变量，调整max_split_size_mb参数

技术细节

该问题可能源于CUDA 12.3版本中引入的内存分配策略变更。当系统尝试分配显存时，新版CUDA可能错误计算了所需内存量，导致出现天文数字级别的分配请求。这种异常通常发生在底层库与CUDA版本不兼容的情况下。

最佳实践建议

1. 在使用Gaussian Splatting项目前，先确认CUDA版本兼容性
2. 建议使用经过验证的CUDA 12.1环境
3. 对于新安装的系统，优先考虑使用项目推荐的CUDA版本
4. 保持项目依赖库与CUDA版本的同步更新

总结

CUDA版本兼容性是深度学习项目中常见的问题来源。Gaussian Splatting项目在CUDA 12.3环境下出现的内存分配异常，通过降级CUDA版本可以得到有效解决。这提醒我们在深度学习开发中，需要特别关注底层驱动和框架版本的匹配问题，以保障项目的稳定运行。