COLMAP/Glomap项目中基础矩阵计算的潜在问题分析

引言

在多视图几何计算中，基础矩阵(Fundamental Matrix)和本质矩阵(Essential Matrix)是两个核心概念。它们在计算机视觉的三维重建、相机姿态估计等任务中扮演着重要角色。本文针对COLMAP/Glomap项目中的一个潜在计算问题进行分析，探讨基础矩阵的正确推导方式。

基础矩阵与本质矩阵的关系

基础矩阵F和本质矩阵E之间存在明确的数学关系。本质矩阵描述了两个相机之间的纯几何关系，而基础矩阵则考虑了相机的内参。它们之间的转换关系可以表示为：

F = K₂⁻ᵀ * E * K₁⁻¹

其中K₁和K₂分别是两个相机的内参矩阵。这个公式的物理意义是：本质矩阵E在归一化坐标系下描述了两视图关系，而基础矩阵F则将这种关系转换到了像素坐标系。

问题发现

在Glomap项目的实现中，FundamentalFromMotionAndCameras函数负责从相机运动和相机内参计算基础矩阵。当前实现为：

F = K₁⁻ᵀ * E * K₂⁻¹

这与理论推导的公式顺序相反。当pose参数表示相机2相对于相机1的变换(T_cam2_from_cam1)时，正确的计算顺序应该是：

F = K₂⁻ᵀ * E * K₁⁻¹

数学推导验证

让我们从基本原理出发验证这一关系：

1. 对于一对匹配点x₁和x₂，在归一化坐标系下有： x₂ᵀ * E * x₁ = 0

2. 像素坐标与归一化坐标的关系为： x₁ = K₁ * X₁ x₂ = K₂ * X₂ 其中X₁和X₂是归一化坐标

3. 将2代入1得： (K₂ * X₂)ᵀ * F * (K₁ * X₁) = 0 => X₂ᵀ * (K₂ᵀ * F * K₁) * X₁ = 0

4. 对比1和3可得： E = K₂ᵀ * F * K₁ => F = K₂⁻ᵀ * E * K₁⁻¹

这一推导清晰地展示了基础矩阵的正确计算方式。

影响分析

如果基础矩阵计算顺序错误，会导致：

1. 极线约束计算不准确
2. 三角化结果偏差
3. 后续的相机姿态估计和三维重建精度下降

特别是在大基线或广角相机情况下，这种误差会被放大。

正确实现建议

基于上述分析，建议将函数实现修改为：

void FundamentalFromMotionAndCameras(const Camera& camera1,
                                    const Camera& camera2,
                                    const Rigid3d& pose,
                                    Eigen::Matrix3d* F) {
  Eigen::Matrix3d E;
  EssentialFromMotion(pose, &E);
  *F = camera2.GetK().transpose().inverse() * E * camera1.GetK().inverse();
}

结论

在多视图几何计算中，数学公式的严格实现至关重要。本文分析了Glomap项目中基础矩阵计算的潜在问题，通过数学推导验证了正确的计算顺序，并讨论了错误实现可能带来的影响。正确的矩阵顺序保证了极线几何关系的准确性，是后续三维重建任务的基础。