SensorsCalibration 环视相机手动标定指南:surround-camera/manual_calib 使用与原理深度解析

原创2026-10-15 18:45:441,433 阅读
文章标签:自动驾驶计算机视觉点云图像处理

SensorsCalibration 环视相机手动标定指南:surround-camera/manual_calib 使用与原理深度解析

本文基于开源项目 SensorsCalibration(OpenCalib 多传感器标定工具箱)中的 surround-camera/manual_calib 模块,系统讲解环视相机(surround view camera)与环视鱼眼相机(surround view fisheye camera)的无靶标(target-less)外参手动标定工具:涵盖编译构建、数据准备、命令行运行、Pangolin 交互面板操作、标定原理与结果保存,并深入 run_avm.cpp 源码揭示底层实现细节。读完本文,你将能独立完成一套四路环视相机的外参微调与拼接验证,并理解 BEV 鸟瞰图投影与畸变模型的工程实现。

工具定位:环视相机无靶标外参标定的交互式入口

根据 surround-camera/README.md 的说明,surround-camera_calib 是一套面向环视相机/环视鱼眼相机的外参标定工具箱,包含四种工具,其中 manual_calib 是唯一的手动(manual)标定方案:

标定对象 标定类型 标定方法 手动标定 自动标定 使用文档
surround_cameras (fisheye) extrinsic target-less ✅ — manual_calib
surround_cameras (fisheye) extrinsic target-less — ✅ auto_calib_fisheye
surround_cameras extrinsic target-less — ✅ auto_calib
surround_cameras extrinsic target — ✅ auto_calib_target

manual_calib 的核心价值在于:在无棋盘格、无靶标、无外部参照物的前提下,借助可视化界面将四路相机画面投影到地面鸟瞰图(BEV),通过人工观察拼接对齐情况,对每路相机的外参进行逐轴微调,最终得到可直接落地的标定结果。它既可作为自动标定失败时的兜底方案,也可用于验证自动标定的输出质量。

编译构建:依赖与步骤

依赖项

从 CMakeLists.txt 可以看出,构建需要以下依赖:

  • Pangolin:交互式可视化窗口与控件面板(find_package(Pangolin REQUIRED));
  • OpenCV:图像读取、畸变矫正与 cv::remap 重投影(find_package(OpenCV REQUIRED));
  • Boost.System / Boost.Filesystem:路径处理(find_package(Boost REQUIRED system));
  • Eigen:矩阵运算(通过 EIGEN_ROOT 变量指定头文件路径);
  • jsoncpp(静态库 libjsoncpp.a):解析内外参 JSON 文件。

编译标准为 -std=c++11。项目通过 file(GLOB_RECURSE PARSER_PATH src/*.cpp) 将全部源码编译为静态库,最终生成可执行文件 run_avm,输出目录为 bin/,静态库输出到 lib/。

编译命令

与原文档一致,编译过程如下:

# 创建并进入 build 目录
mkdir -p build && cd build
# 配置并编译
cmake .. && make

编译完成后,可执行文件位于 bin/ 目录下(即 surround-camera/manual_calib/bin/run_avm)。

数据准备:目录结构与 JSON 参数格式

run_avm 需要三个输入目录 + 一个模型类型参数,仓库自带的 pinhole_samples 与 ocam_samples 两套样例展示了标准的数据组织方式:

manual_calib/
├── pinhole_samples/            # 针孔相机样例
│   ├── imgs/                   # 四路原始图像
│   │   ├── Front.png  Back.png  Left.png  Right.png
│   ├── intrinsic/              # 四路内参 JSON
│   │   ├── Front.json  Back.json  Left.json  Right.json
│   └── extrinsic/              # 四路外参 JSON
│       ├── Front.json  Back.json  Left.json  Right.json
├── ocam_samples/               # 全向(ocam)鱼眼相机样例
│   ├── imgs/  intrinsic/  extrinsic/   # 结构与上相同

从 run_avm.cpp 的加载逻辑可知:

  • 图像命名必须为 Front.png、Back.png、Left.png、Right.png(内部按 0=Front, 1=Left, 2=Back, 3=Right 的固定顺序组织);
  • 内外参 JSON 命名必须与相机一一对应:Front.json、Left.json、Back.json、Right.json。

内参 JSON 格式(intrinsic)

由 intrinsic_param.hpp 的 LoadIntrinsic 可知,程序从 JSON 中读取 param.cam_K.data(3×3 内参矩阵)与 param.cam_dist.data(畸变系数行向量,列数由 param.cam_dist.cols 指定)。

针孔样例(pinhole_samples/intrinsic/Front.json):

{
    "front_camera-intrinsic": {
        "sensor_name": "front_camera",
        "device_type": "camera",
        "param_type": "intrinsic",
        "param": {
            "img_dist_w": 1500,
            "img_dist_h": 1500,
            "cam_K": {
                "rows": 3, "cols": 3, "type": 6, "continuous": true,
                "data": [[390.425287, 0, 750], [0, 390.425287, 750], [0, 0, 1]]
            },
            "cam_dist": {
                "rows": 1, "cols": 4, "type": 6, "continuous": true,
                "data": [[0, 0, 0, 0]]
            }
        }
    }
}

鱼眼样例(ocam_samples/intrinsic/Front.json)的 cam_dist 则为 11 个系数的多项式(对应全向相机畸变模型),且 cam_K 元素不再是针孔模型的理想值:

"cam_dist": {
    "rows": 1, "cols": 11, "type": 6, "continuous": true,
    "data": [[627.927477776227, 466.028077028629, -2.8986629308847,
              24.2220612718414, 72.6950631423446, -33.3800489422008,
              -23.5185216191834, 114.225279210139, 139.347809599797,
              61.1223487329993, 9.684055492906211]]
}

外参 JSON 格式(extrinsic)

由 extrinsic_param.hpp 的 LoadExtrinsic 可知,程序读取 param.sensor_calib.data 中的 4×4 齐次变换矩阵。该矩阵描述的是 BEV(车体/地面鸟瞰坐标系)到相机的变换,JSON 键名也以此命名,例如 bev-to-front_camera-extrinsic。

针孔样例前视相机(pinhole_samples/extrinsic/Front.json):

{
    "bev-to-front_camera-extrinsic": {
        "sensor_name": "camera",
        "target_sensor_name": "car",
        "device_type": "relational",
        "param_type": "extrinsic",
        "param": {
            "time_lag": 0,
            "sensor_calib": {
                "rows": 4, "cols": 4, "type": 6, "continuous": true,
                "data": [[1, 0, 0, 0], [0, 0, 1, -4.1], [0, -1, 0, -2.5], [0, 0, 0, 1]]
            }
        }
    }
}

鱼眼样例(ocam_samples/extrinsic/Front.json)的平移量为旋转后的非整数(如 -0.199328, -1.78118, -6.14063),反映了真实安装误差;手动标定的目标正是通过交互微调,使这种非理想外参下的拼接误差收敛。

运行程序:命令行参数详解

按原文档运行方式,在 manual_calib 目录下执行:

# 方式一:无参数启动(会打印用法提示)
./bin/run_avm

# 方式二:针孔相机样例(camera_model = 2)
./bin/run_avm pinhole_samples/imgs pinhole_samples/intrinsic pinhole_samples/extrinsic 2

# 方式三:全向/鱼眼相机样例(camera_model = 1)
./bin/run_avm ocam_samples/imgs ocam_samples/intrinsic ocam_samples/extrinsic 1

程序要求恰好 5 个命令行参数(含程序名),否则打印用法提示(见 run_avm.cpp):

Usage: ./run_avm <image_path> <intrinsic_path> <extrinsic_path> <camera_model>
0 represents fisheye model in opencv, 1 represents Omnidirectional model and 2 represents pinhole model

四个参数含义如下:

参数 含义 示例
image_path 存放四路原始图像的目录(Front/Back/Left/Right.png) pinhole_samples/imgs
intrinsic_path 存放四路内参 JSON 的目录 pinhole_samples/intrinsic
extrinsic_path 存放四路外参 JSON 的目录 pinhole_samples/extrinsic
camera_model 相机畸变模型类型:0=OpenCV fisheye 模型,1=全向(Omnidirectional/ocam)模型,2=针孔(pinhole)模型 2 / 1

camera_model 直接决定畸变矫正与重投影使用的算法分支(run_avm.cpp):

  • 0:调用 OpenCV 内置的 cv::fisheye::distortPoints;
  • 1:调用源码自定义的 distortPointsOcam(基于全向相机多项式模型 world2cam);
  • 2:调用 distortPoints(仅用内参 K 做线性投影,无畸变项)。

此外,不同 camera_model 对应不同的**相机安装高度(bev2ground)**预设(run_avm.cpp):pinhole 样例默认四路均为 5.1(米),ocam 样例则按 Front/Left/Back/Right 分别预设为 6.07826 / 6.25217 / 6.31014 / 6.28116。源码注释明确提示“different heights for different samples”——实际使用时务必按自己车辆的真实安装高度修改。

交互式标定操作:Pangolin 界面与按键

启动后程序会创建两个 Pangolin 窗口区域:左侧为控制面板 cp,右侧为主视图 avm player(显示当前选中相机的 BEV 投影图,或拼接鸟瞰图)。

控制面板控件

由 run_avm.cpp 定义的面板控件如下:

控件 类型 说明
cp.stiching 勾选框 切换“拼接模式”。勾选后主视图显示四路相机合成的环视鸟瞰图(generate_surround_view),保存时输出全部四路结果;不勾选则只操作当前选中相机
cp.deg step 滑块 单次旋转微调的步长,默认 0.3(度),范围 0~5,对应源码 cali_scale_degree_
cp.t step(cm) 滑块 单次平移微调的步长,默认 6(厘米),范围 0~200,内部换算为 cali_scale_trans_ = 6/100 米
cp.frame 滑块 当前操作相机索引,0~3,对应 Front/Left/Back/Right
cp.+/- x/y/z degree 按钮 绕 x/y/z 轴的正/负旋转微调(6 个)
cp.+/- x/y/z trans 按钮 沿 x/y/z 轴的正/负平移微调(6 个)
cp.Reset 按钮 将当前相机外参恢复为初始加载值(orign_calibration_matrix_)
cp.Save Image 按钮 保存标定结果

键盘快捷键

源码 ManualCalibration 定义了与 12 个按钮一一对应的键盘映射(run_avm.cpp):

按键 操作 按键 操作
q +x 旋转 a −x 旋转
w +y 旋转 s −y 旋转
e +z 旋转 d −z 旋转
r +x 平移 f −x 平移
t +y 平移 g −y 平移
y +z 平移(降低相机高度) h −z 平移(升高相机高度)

其中 y/h 两个按键在平移外参的同时还会修改 bev2ground 高度参数(run_avm.cpp),因为 z 方向平移与相机离地高度在 BEV 投影中是耦合的——这也是实际标定中“拼接错位时先调高度再调旋转”操作习惯的源码依据。

微调变换的生成原理

每次微调的本质是将当前外参矩阵右乘一个小的增量变换(run_avm.cpp):

calibration_matrix_[frame] = calibration_matrix_[frame] * modification_list_[frame][i];

modification_list_ 在初始化时预先生成 12 个增量矩阵:旋转部分由 Eigen::AngleAxisd 按 cali_scale_degree_(默认 0.3°)绕 x/y/z 轴构造,平移部分为 cali_scale_trans_(默认 0.06 米)的 ± 单位平移。调整 cp.deg step / cp.t step(cm) 滑块会实时重建这 12 个增量矩阵并打印当前步长(CalibrationScaleChange)。

推荐的标定操作流程

  1. 以正确的 camera_model 启动程序,确认四路 BEV 投影正常;
  2. 勾选 cp.stiching 进入拼接模式,观察整体拼接错位情况;
  3. 用 cp.frame 逐路切换相机,在单相机模式下(取消勾选 stiching)针对每路的错位分别调节;
  4. 先用 y/h(或 +z/-z trans)校准高度,再用旋转按键对齐边缘特征(车道线、路沿、车位线等);
  5. 调整 cp.deg step 缩小步长做精细微调;
  6. 切回拼接模式检查四路接缝是否对齐;
  7. 点击 cp.Save Image 保存结果。

标定原理:从源码看 BEV 投影与拼接实现

manual_calib 的标定过程本质上是参数化重投影 + 人工优化:给定内参 K、畸变系数 D 与外参 T_CG,把每路相机图像重投影到地面鸟瞰图,人工根据拼接效果反向修正 T_CG。

地面投影核心函数 project_on_ground

project_on_ground 实现了“图像 → 地面”的完整投影管线:

  1. 构造地面网格:以 1000×1000 的地面像素网格,每个网格对应 dX = dY = 0.004 米,通过地面内参 K_G = diag(1/dX, 1/dY, 1) 将像素坐标转换为地面物理坐标,再乘上相机安装高度 height 得到地面 3D 点 P_G;
  2. 外参变换:用 T_CG(即 JSON 中的 bev-to-camera 变换)将 P_G 变换到相机坐标系 P_GC,并归一化得到归一化平面坐标;
  3. 畸变与投影:按 camera_model 分别走 OpenCV fisheye、ocam 多项式或纯针孔分支,得到像素坐标查找表;
  4. cv::remap:用该查找表把原始图像重采样为 BEV 鸟瞰图(双线性插值 INTER_LINEAR)。

环视拼接 generate_surround_view

generate_surround_view 将四路 BEV 图合成一张 1000×1000 的环视鸟瞰图:四角区域(0~400 与 600~1000 像素区间)为相邻两路图像的 0.5/0.5 加权融合,前后左右中带为单路直取,中心 200×200 区域(车身位置)填充黑色。也就是说,拼接重叠带的对齐质量是人工判读标定是否收敛的直接视觉依据。

标定结果的数学表达

外参微调遵循“右乘增量”约定:T' = T · ΔT。这是因为 T_CG 表达的是 BEV→相机变换,右乘增量等价于先施加相机局部微调再变换,符合“在相机安装位姿上做修正”的直觉。标定完成后,修正后的 4×4 矩阵即新的外参。

结果保存与输出

点击 cp.Save Image 后(run_avm.cpp):

  • 单相机模式:为当前相机输出 calibration_<frame>.txt(内含旋转矩阵 R、平移向量 t 及可直接粘贴回 JSON 的 4×4 矩阵格式),并保存当前 BEV 图 calibimg_<frame>.png;
  • 拼接模式(stiching):为全部四路相机各保存一份 calibration_0~3.txt,同时输出整幅拼接结果图 stiching.png。

结果文件同时包含“R/t 阅读格式”和“json 格式”两段(saveResult),后者可直接替换原 extrinsic JSON 中的 sensor_calib.data 数组,完成外参更新。

注意事项与使用局限

  • 内参需先完成标定:本工具只负责外参微调,cam_K 与 cam_dist 必须由内参标定流程预先提供(可参考仓库 camera_intrinsic 模块);畸变系数错误时 BEV 会出现系统性畸变,人工微调难以完全补偿;
  • 安装高度参数需按车型修正:源码中的 bev2ground 预设值仅适用于仓库自带样例,实际部署时必须按相机真实离地高度修改 run_avm.cpp 中的数值后重新编译;
  • 数据命名严格:图像与 JSON 必须严格命名为 Front/Back/Left/Right 对应的固定文件名,否则程序无法加载;
  • 交互依赖图形环境:标定界面基于 Pangolin 构建,需要可用的 X11 显示环境;运行前请确认 Pangolin、OpenCV、Boost、Eigen、jsoncpp 依赖完整(见 CMakeLists.txt);
  • 人工判读的收敛性:无靶标手动标定依赖场景中的道路纹理特征(车道线、路沿、标线),建议选择开阔、纹理清晰、光照均匀的场地采集四路图像。

manual_calib 是 OpenCalib 环视标定体系中人工兜底与结果验证的关键一环,其“BEV 重投影 + 逐轴微调”的交互范式与仓库中的自动标定工具(auto_calib、auto_calib_fisheye、auto_calib_target)互补,共同构成完整的环视相机外参标定方案。

登录后查看全文
SensorsCalibration