Ceres-Solver中大规模BA问题的求解器选择与性能分析

问题背景

在使用Ceres-Solver进行大规模光束法平差(BA)优化时，开发者经常会遇到求解器选择的问题。本文通过分析一个实际案例，探讨了当处理大规模BA问题(6万张图像和1300万个点)时，不同线性求解器的适用性及其性能表现。

问题现象

在尝试使用DENSE_SCHUR求解器配合CUDA加速时，程序出现了段错误(Segmentation Fault)导致崩溃。错误发生在Ceres-Solver内部并行处理阶段，具体是在SchurEliminator的Eliminate方法执行过程中。

原因分析

经过深入分析，我们发现导致崩溃的根本原因是：

1. 内存需求过高：对于6万张图像的问题规模，使用DENSE_SCHUR求解器会产生极其庞大的矩阵。假设每个相机参数块大小为9(常见的3D旋转+3D平移+3个内参)，仅相机部分的Hessian矩阵就需要约26GB内存(60000×60000×8字节)。

2. GPU内存限制：虽然CUDA加速理论上可以提高计算速度，但当前GPU设备的显存容量通常无法容纳如此大规模的稠密矩阵。当尝试将矩阵传输到GPU时，会因内存不足而导致崩溃。

3. 并行处理问题：错误日志显示问题出现在并行处理阶段，这表明在多线程环境下处理超大矩阵时可能存在同步或内存访问问题。

解决方案比较

我们测试了多种求解器配置的表现：

1. DENSE_SCHUR+CUDA：导致崩溃，不适用于超大规模问题。

2. ITERATIVE_SCHUR：能够成功完成优化，这是因为它：

   • 使用迭代法而非直接法，内存需求大大降低
   • 不需要显式构造和存储完整的Schur补矩阵
   • 适合处理稀疏性强的BA问题

3. SPARSE_SCHUR：同样能够正常工作，它：

   • 利用问题的稀疏性结构
   • 内存使用效率更高
   • 对于某些问题可能比ITERATIVE_SCHUR更快收敛

性能优化建议

对于需要CUDA加速的大规模BA问题，可以考虑以下优化策略：

1. 问题分割：将大规模问题分解为多个子问题进行求解。

2. 使用预处理技术：在ITERATIVE_SCHUR中配合有效的预处理子(如CLUSTER_JACOBI)可以显著提高收敛速度。

3. 内存优化：

   • 调整求解器选项中的num_threads参数
   • 监控内存使用情况，适时释放不必要的数据

4. 硬件选择：对于真正需要处理超大规模问题的场景，考虑使用配备大容量显存的专业级GPU或分布式计算方案。

结论

Ceres-Solver提供了多种线性求解器选项，但针对不同规模的问题需要谨慎选择。对于超过数万张图像的大规模BA问题，DENSE_SCHUR+CUDA的组合由于内存限制通常不可行，而ITERATIVE_SCHUR或SPARSE_SCHUR是更合适的选择。开发者应当根据具体问题规模、硬件配置和性能需求来选择合适的求解器配置。