NuScenes数据集：如何获取每帧图像的相机位姿

在自动驾驶领域，NuScenes数据集是一个重要的多模态数据集，包含了丰富的传感器数据和标注信息。本文将详细介绍如何在NuScenes数据集中获取每帧图像的相机位姿信息，这对于3D目标检测、SLAM等计算机视觉任务至关重要。

相机位姿的组成

在NuScenes数据集中，相机位姿实际上由两部分组成：

1. 相机相对于车辆坐标系（ego frame）的位姿：这是通过相机标定获得的固定变换关系
2. 车辆在世界坐标系中的位姿：这是随时间变化的车辆运动信息

获取相机标定信息

首先需要获取相机相对于车辆坐标系的变换关系。可以通过以下步骤获取：

from nuscenes.nuscenes import NuScenes

# 初始化NuScenes数据集
nusc = NuScenes(version='v1.0-mini', dataroot='/path/to/dataset', verbose=False)

# 获取第一个样本
sample = nusc.sample[0]

# 获取相机数据
sample_data = nusc.get('sample_data', sample['data']['CAM_FRONT'])

# 获取相机标定信息
calibrated_sensor = nusc.get('calibrated_sensor', sample_data['calibrated_sensor_token'])

calibrated_sensor字典包含以下关键信息：

• translation：相机相对于车辆坐标系的位置偏移
• rotation：相机相对于车辆坐标系的旋转（四元数表示）
• camera_intrinsic：相机内参矩阵

获取车辆位姿信息

接下来需要获取车辆在世界坐标系中的位姿：

# 获取车辆位姿信息
ego_pose = nusc.get('ego_pose', sample_data['ego_pose_token'])

ego_pose字典包含：

• translation：车辆在世界坐标系中的位置
• rotation：车辆在世界坐标系中的朝向（四元数表示）

构建完整的相机位姿

要将相机坐标系中的点转换到世界坐标系，需要执行以下变换步骤：

1. 将点从相机坐标系转换到车辆坐标系
2. 将点从车辆坐标系转换到世界坐标系

数学上可以表示为：

P_world = T_ego_to_world * T_cam_to_ego * P_camera

其中：

• T_cam_to_ego是从相机坐标系到车辆坐标系的变换矩阵
• T_ego_to_world是从车辆坐标系到世界坐标系的变换矩阵

实际应用示例

假设我们有一个在相机坐标系中的点P_camera，要计算它在世界坐标系中的位置：

import numpy as np

def make_transform_matrix(rotation, translation):
    """将旋转(四元数)和平移转换为4x4齐次变换矩阵"""
    q = np.array(rotation)
    t = np.array(translation)
    R = quaternion_to_rotation_matrix(q)
    T = np.eye(4)
    T[:3, :3] = R
    T[:3, 3] = t
    return T

# 构建相机到车辆的变换矩阵
T_cam_to_ego = make_transform_matrix(calibrated_sensor['rotation'], 
                                   calibrated_sensor['translation'])

# 构建车辆到世界的变换矩阵
T_ego_to_world = make_transform_matrix(ego_pose['rotation'],
                                      ego_pose['translation'])

# 将相机坐标系中的点转换到世界坐标系
P_world = T_ego_to_world @ T_cam_to_ego @ P_camera

注意事项

1. 四元数的顺序：NuScenes中使用的是w,x,y,z顺序
2. 坐标系定义：NuScenes中使用的坐标系定义需要仔细查阅文档
3. 时间同步：不同传感器数据的时间戳需要对齐处理

通过以上方法，我们可以准确地获取NuScenes数据集中每帧图像的相机位姿信息，为后续的3D视觉任务提供基础支持。