NuScenes-devkit 中传感器坐标系转换的技术解析

传感器坐标系转换的基本原理

在自动驾驶系统中，多传感器融合是关键技术之一。NuScenes数据集提供了丰富的传感器数据，包括摄像头、雷达和激光雷达等。理解这些传感器之间的坐标系转换关系对于数据处理至关重要。

NuScenes中的坐标系转换主要涉及两个层次：

1. 传感器坐标系到车辆坐标系（ego frame）的转换
2. 车辆坐标系到全局坐标系（global frame）的转换

传感器到车辆坐标系的转换

每个传感器都有自己的校准参数，存储在calibrated_sensor表中。这些参数包括：

• 传感器相对于车辆坐标系的平移量(translation)
• 传感器相对于车辆坐标系的旋转量(rotation)

可以通过以下代码获取传感器到车辆坐标系的转换矩阵：

ref_cs_rec = nusc.get('calibrated_sensor', ref_sd_rec['calibrated_sensor_token'])
sensor_from_vehicle = transform_matrix(
    ref_cs_rec['translation'], 
    Quaternion(ref_cs_rec['rotation']),
    inverse=False
)

车辆到全局坐标系的转换

车辆的位姿信息存储在ego_pose表中，包含：

• 车辆在全局坐标系中的位置(translation)
• 车辆在全局坐标系中的朝向(rotation)

获取车辆到全局坐标系的转换矩阵：

ref_pose_rec = nusc.get('ego_pose', ref_sd_rec['ego_pose_token'])
global_from_vehicle = transform_matrix(
    ref_pose_rec['translation'], 
    Quaternion(ref_pose_rec['rotation']),
    inverse=False
)

传感器之间的直接转换

虽然可以通过全局坐标系中转来实现传感器间的转换，但更高效的方式是直接计算传感器间的转换关系。例如，从雷达坐标系到摄像头坐标系的转换：

# 雷达到车辆的转换
car_from_radar = transform_matrix(
    rad_sensor['translation'], 
    Quaternion(rad_sensor['rotation']),
    inverse=False
)

# 车辆到摄像头的转换
cam_from_car = transform_matrix(
    cam_sensor['translation'], 
    Quaternion(cam_sensor['rotation']),
    inverse=True
)

# 雷达到摄像头的直接转换
cam_from_radar = reduce(np.dot, [cam_from_car, car_from_radar])

需要注意的是，这种传感器间的直接转换在同一场景中是恒定的，因为传感器在车辆上的安装位置是固定的。但在不同场景间可能不同，因为NuScenes数据采集使用了不同的车辆配置。

实际应用中的注意事项

1. 时间同步问题：不同传感器的采样时间可能不完全一致，需要考虑时间对齐
2. 坐标系定义：NuScenes使用右手坐标系，x向前，y向左，z向上
3. 转换顺序：矩阵乘法顺序很重要，必须确保正确的级联顺序
4. 逆矩阵使用：根据转换方向决定是否需要计算逆矩阵

通过正确理解和使用这些转换关系，开发者可以有效地将不同传感器的数据对齐到统一的坐标系中，为后续的感知和融合算法提供准确的数据基础。