在NuScenes数据集上实现3D边界框中心点投影到图像

概述

在计算机视觉和自动驾驶领域，将3D空间中的物体准确地投影到2D图像平面上是一项基础而重要的任务。本文将详细介绍如何在NuScenes数据集上实现3D边界框中心点向2D图像的投影转换。

投影矩阵的构成

3D到2D的投影转换通常通过投影矩阵实现，该矩阵由两部分组成：

1. 相机内参矩阵：描述相机本身的特性，包括焦距、主点坐标等
2. 相机外参矩阵：描述相机在世界坐标系中的位置和朝向

完整的投影矩阵是这两者的乘积，可以将3D世界坐标直接映射到2D图像坐标。

NuScenes中的坐标系转换

NuScenes数据集提供了丰富的传感器数据，包括相机图像和3D标注信息。要实现准确的投影，需要考虑以下坐标系转换：

1. 全局坐标系到自车坐标系的转换
2. 自车坐标系到相机坐标系的转换

实现步骤详解

1. 获取全局到自车的变换矩阵

t1 = -np.array(pose_record['translation'])
pose_rotation = pose_record['rotation']
R1 = Quaternion(pose_rotation).inverse.rotation_matrix
t1 = np.dot(R1, t1)
E1 = np.column_stack((R1, t1))

这段代码实现了：

• 获取自车在全局坐标系中的位置和旋转
• 计算逆旋转矩阵
• 完成平移向量的旋转补偿
• 构建完整的变换矩阵

2. 获取自车到相机的变换矩阵

t2 = -np.array(cs_record['translation'])
cs_rotation = cs_record['rotation']
R2 = Quaternion(cs_rotation).inverse.rotation_matrix
t2 = np.dot(R2, t2)
E2 = np.column_stack((R2, t2))
cs_camera_intrinsic = cs_record['camera_intrinsic']

这部分与上一步类似，但针对的是相机相对于自车的位姿。

3. 组合变换矩阵

E = np.dot(np.row_stack((E2, [0, 0, 0, 1])), np.row_stack((E1, [0, 0, 0, 1])))
prj_mat = np.dot(cs_camera_intrinsic, E[0:3, :])

这里将两个变换矩阵相乘得到完整的从全局到相机坐标系的变换，再与相机内参矩阵相乘得到最终的投影矩阵。

4. 应用投影矩阵

boxes_3d = nusc.get_boxes(cam_front_data['token'])
for box_3d in boxes_3d:
    cc = np.copy(box_3d.center)
    vet2 = np.array([[cc[0]], [cc[1]], [cc[2]], [1]])
    temp_c = np.dot(prj_mat, vet2)
    point_3d2img = temp_c[0:2] / temp_c[2]

通过简单的矩阵乘法，即可将3D边界框中心点投影到图像平面。

关键点说明

1. 逆旋转的使用：NuScenes中存储的是相机相对于自车的位姿，因此需要使用逆旋转
2. 齐次坐标：在变换过程中使用齐次坐标表示，便于矩阵运算
3. 透视除法：最后一步除以z坐标实现透视投影

应用场景

这种投影方法可以用于：

• 3D检测结果的2D可视化验证
• 多传感器数据融合
• 3D标注的2D投影验证
• 自动驾驶感知系统的调试

总结

本文详细介绍了在NuScenes数据集上实现3D到2D投影的完整流程，包括坐标系转换、矩阵组合和实际应用。掌握这一技术对于自动驾驶领域的3D感知任务具有重要意义。