MediaPipeUnityPlugin中AR相机与地标检测的坐标映射问题解析

问题背景

在使用MediaPipeUnityPlugin进行增强现实(AR)应用开发时，开发者经常需要将检测到的地标(如手部关键点)准确地映射到AR相机画面上。本文针对Unity 2022.3环境下使用v0.16.0插件时遇到的坐标映射问题进行深入分析。

核心问题分析

当开发者通过cameraManager.TryAcquireLatestCpuImage获取相机图像并传递给地标检测器后，检测到的地标坐标需要正确映射到AR场景中。常见问题表现为：

1. 地标位置偏移
2. 比例不正确
3. 深度(Z轴)处理不当

关键解决方案

图像尺寸与屏幕尺寸的差异

AR相机获取的图像尺寸(如480x640)通常与屏幕显示尺寸不同。这是导致映射错误的主要原因之一。开发者需要明确区分：

• 输入图像尺寸：传递给地标检测器的原始图像尺寸
• 显示尺寸：实际AR相机在屏幕上渲染的尺寸

坐标转换的正确方法

正确的坐标转换应遵循以下步骤：

1. 归一化处理：将地标坐标归一化到[0,1]范围
2. 视口空间转换：使用camera.ViewportToWorldPoint方法
3. 比例调整：考虑图像宽高比与屏幕宽高比的差异

深度值处理

对于AR应用，深度值(Z轴)的处理尤为重要：

• 可以固定深度值(如示例中的2.0f)
• 也可以基于检测到的Z坐标进行适当缩放

实践建议

1. 测试关键点：首先验证(0,0)和(1,1)等边界点是否出现在预期位置
2. 尺寸匹配：确保使用AR相机实际的帧尺寸而非屏幕尺寸进行计算
3. 宽高比补偿：特别注意横向和纵向的不同比例关系

总结

在MediaPipeUnityPlugin中实现AR地标映射时，理解图像坐标系与屏幕坐标系的关系至关重要。通过正确处理尺寸差异和坐标转换，开发者可以准确地将检测结果叠加到AR画面上。记住，AR相机的图像尺寸通常与屏幕尺寸不匹配，这是大多数映射问题的根源所在。