IntelRealSense/librealsense 深度相机像素坐标到3D点坐标转换技术解析

深度相机坐标系系统概述

Intel RealSense D400系列深度相机采用立体视觉原理，其硬件结构包含三个主要传感器组件：左红外传感器（左IR）、右红外传感器（右IR）和RGB彩色传感器。这三个传感器在物理空间上存在固定偏移：

• 左IR传感器：作为深度数据的原始坐标系原点（0,0,0）
• RGB传感器：位于左IR右侧约32.5mm处（15mm+17.5mm）
• 右IR传感器：与左IR构成基线距离，用于立体匹配

坐标转换核心问题

在实际应用中，开发者经常需要将RGB图像中检测到的二维像素坐标转换为三维空间坐标。这一过程涉及两个关键技术环节：

1. 传感器坐标系对齐（Alignment）
2. 像素反投影（Deprojection）

深度-彩色对齐技术

由于RGB传感器与深度传感器物理位置不同，直接使用原始深度数据会导致坐标偏差。RealSense SDK提供了两种对齐方式：

1. 深度到彩色对齐（align_to）

通过rs.align(rs.stream.color)实现，其工作原理：

• 将深度图重新投影到彩色图像平面
• 修改深度数据的坐标系原点为RGB传感器中心线
• 输出对齐后的深度帧和彩色帧共享相同内参

技术特点：

• 实现简单，SDK自动完成坐标变换计算
• 可能引入微小的图像形变
• 适合大多数常规应用场景

2. 点云纹理映射（map_to + pc.calculate）

RealSense Viewer 3D模式采用的方法：

• 保持原始深度数据坐标系
• 通过点云计算实现RGB纹理映射
• 通常能获得更精确的坐标转换结果

技术优势：

• 避免图像重投影带来的形变
• 坐标精度略高于align_to方法
• 适合高精度测量应用

像素反投影原理

rs2_deproject_pixel_to_point()函数实现从2D像素到3D点的转换，其数学本质是相机成像模型的逆过程：

1. 输入参数：

   • 像素坐标(u,v)
   • 深度值z（单位：米）
   • 相机内参矩阵（包括焦距fx,fy和主点cx,cy）

2. 计算过程：

   • 将像素坐标转换为归一化平面坐标
   • 应用镜头畸变校正
   • 根据深度值缩放得到3D坐标

关键注意事项：

• 主点(cx,cy)不一定是图像中心，需使用实际标定值
• 函数自动处理主点偏移，开发者无需额外计算
• 输出坐标相对于当前坐标系原点（对齐后为RGB传感器中心）

工程实践建议

针对机器人视觉应用，推荐以下实施方案：

1. 精度优化方案：

   • 采用map_to + pc.calculate方法
   • 在目标区域进行多点测量取平均
   • 定期进行相机标定维护

2. 坐标系管理：

   • 明确记录使用的坐标系原点（IR或RGB）
   • 机械臂标定时考虑传感器物理偏移
   • 建立统一的坐标转换链

3. 误差控制：

   • 保持目标在相机最佳工作距离内（推荐0.3-3米）
   • 避免强光干扰导致的深度数据噪声
   • 对关键测量点进行多次采样验证

典型问题解决方案

针对文中提到的1cm偏差问题，可通过以下步骤排查：

1. 验证对齐方式是否正确应用
2. 检查使用的内参是否为对齐后的彩色帧内参
3. 确认测量参考点与坐标系原点的一致性
4. 比较Viewer 3D模式与自定义代码的中间结果

通过系统化的坐标转换流程管理和误差源分析，可以确保RealSense相机在机器人应用中的测量精度满足毫米级要求。