Smoothly-VSLAM项目解析：视觉里程计中的对极几何原理与应用

前言

在视觉SLAM（Simultaneous Localization and Mapping）系统中，视觉里程计（Visual Odometry）是核心模块之一，它通过分析连续图像帧之间的特征点对应关系来估计相机运动。本文将深入探讨Smoothly-VSLAM项目中视觉里程计模块的关键技术——对极几何（Epipolar Geometry），帮助读者理解这一重要的计算机视觉基础理论及其在SLAM系统中的应用。

1. 立体视觉与对极几何基础

1.1 立体视觉概述

立体视觉是计算机视觉中的重要研究方向，其核心可以概括为：

立体视觉 = 特征匹配 + 三维重建

• 特征匹配：在两张或多张图像中寻找相同场景点的对应关系
• 三维重建：利用匹配点对计算其在空间中的三维坐标

1.2 对极几何基本概念

对极几何描述了当相机从不同位置观察同一场景时，三维点、相机位姿与图像观测之间的几何约束关系。这种几何关系为求解相机运动和特征点三维坐标提供了重要的数学约束。

对极几何中的关键要素包括：

1. 对极点（Epipole）：一个相机光心在另一个相机成像平面上的投影点
2. 对极线（Epipolar Line）：一个图像点在另一个图像中可能出现的投影位置形成的直线
3. 对极平面（Epipolar Plane）：由场景点与两个相机光心共同确定的平面
4. 基线（Baseline）：连接两个相机光心的直线

2. 对极约束与本质矩阵

2.1 对极约束的数学表达

对极约束可以表示为以下数学关系：

$(p_u^2)^T E p_u^1 = 0$

其中：

• $p_u^1$和$p_u^2$分别是特征点在两个相机坐标系下的归一化坐标
• $E$是本质矩阵（Essential Matrix），定义为$E = t^\land R$

2.2 本质矩阵的性质

本质矩阵具有以下重要性质：

1. 自由度为5（旋转3个，平移2个，因为平移具有尺度不变性）
2. 奇异值形式为$[σ, σ, 0]$
3. 可以分解得到相机的运动$R$和$t$

2.3 八点法求解本质矩阵

通过8对匹配点可以构建线性方程组求解本质矩阵：

$\left(\begin{array}{ccccccccc} x_{2}^{1} x_{1}^{1} & x_{2}^{1} y_{1}^{1} & x_{2}^{1} & y_{2}^{1} x_{1}^{1} & y_{2}^{1} y_{1}^{1} & y_{2}^{1} & x_{1}^{1} & y_{1}^{1} & 1 \\ ... \\ x_{2}^{8} x_{1}^{8} & x_{2}^{8} y_{1}^{8} & x_{2}^{8} & y_{2}^{8} x_{1}^{8} & y_{2}^{8} y_{1}^{8} & y_{2}^{8} & x_{1}^{8} & y_{1}^{8} & 1 \end{array}\right) e=0$

这种方法称为直接线性变换法（DLT）。

3. 从本质矩阵恢复相机运动

通过奇异值分解（SVD）可以从本质矩阵$E$中恢复相机运动：

$E=U\sum V^T$

相机运动的可能解有四种组合：

1. $t_1^\land = U R_z(\frac{\pi}{2}) \sum V^T$, $R_1 = U R_z^T(\frac{\pi}{2}) V^T$
2. $t_2^\land = U R_z(-\frac{\pi}{2}) \sum V^T$, $R_2 = U R_z^T(-\frac{\pi}{2}) V^T$
3. 与1相同但$t$取反
4. 与2相同但$t$取反

通过检查特征点在两个相机下的深度是否为正，可以确定唯一正确的解。

4. 单应矩阵及其应用

4.1 单应矩阵的概念

当场景中的特征点都位于同一平面时，可以使用单应矩阵（Homography）来描述两个视图之间的变换关系。单应矩阵在以下场景特别有用：

• 无人机俯视相机
• 扫地机器人顶视相机
• 相机纯旋转运动

4.2 单应矩阵的求解

对于共面的特征点，可以通过4对匹配点求解单应矩阵：

$\left(\begin{array}{cccccccc} u_{1}^{1} & v_{1}^{1} & 1 & 0 & 0 & 0 & -u_{1}^{1} u_{2}^{1} & -v_{1}^{1} u_{2}^{1} \\ ... \\ u_{1}^{4} & v_{1}^{4} & 1 & 0 & 0 & 0 & -u_{1}^{4} u_{2}^{4} & -v_{1}^{4} u_{2}^{4} \\ 0 & 0 & 0 & u_{1}^{4} & v_{1}^{4} & 1 & -u_{1}^{4} v_{2}^{4} & -v_{1}^{4} v_{2}^{4} \end{array}\right) \left(\begin{array}{c} h_{1} \\ ... \\ h_{8} \end{array}\right)= \left(\begin{array}{c} u_{2}^{1} \\ ... \\ v_{2}^{4} \end{array}\right)$

4.3 从单应矩阵恢复运动

通过SVD分解单应矩阵$H$，可以得到相机的运动参数：

$H=U\Lambda V^T$

解的形式可能有多种，需要通过重投影误差选择最优解。

5. 三角测量

在估计出相机运动后，可以通过三角测量计算特征点的三维坐标：

$s_2x_2 = s_1Rx_1 + t$

通过消去$s_2$可以得到关于$s_1$的线性方程：

$s_1x_2^\land Rx_1 + x_2^\land t = 0$

实际应用中通常使用最小二乘法求解以获得更鲁棒的结果。

6. 对极几何在实际SLAM系统中的应用

在Smoothly-VSLAM项目中，对极几何主要用于：

1. 初始化阶段：当系统刚开始运行时，通过2D-2D特征匹配和对极几何估计初始相机运动
2. 特征点深度估计：通过三角测量为特征点提供初始深度估计
3. 运动估计验证：与其他传感器数据或运动模型进行交叉验证

7. 常见问题与思考

1. 本质矩阵的自由度：本质矩阵实际自由度为5（旋转3个，平移2个）
2. 齐次方程求解：对于齐次线性方程，我们寻找最小奇异值对应的奇异向量作为解
3. 退化情况处理：当特征点共面或相机纯旋转时，需要使用单应矩阵替代本质矩阵

结语

对极几何作为视觉SLAM中的基础理论，为特征点的2D-2D匹配提供了强大的数学工具。理解这些原理不仅有助于开发SLAM系统，也是深入计算机视觉领域的重要基础。Smoothly-VSLAM项目通过对极几何等技术的有机结合，实现了稳定高效的视觉里程计功能。