MediaPipeUnityPlugin中3D模型在Android构建中旋转90°的解决方案

问题背景

在使用MediaPipeUnityPlugin开发增强现实应用时，开发者经常遇到一个典型问题：在Unity编辑器中3D模型显示正常，但在Android设备上构建运行后，模型会出现约90度的旋转偏差。这个问题尤其常见于面部识别、姿势追踪等AR应用中。

问题本质分析

这个问题的根源在于移动设备摄像头的自然朝向与Unity坐标系之间的差异。大多数Android设备的后置摄像头默认采用横向拍摄模式，而Unity通常以纵向模式作为默认显示方向。这种方向不匹配导致了模型旋转现象。

具体表现为：

• Unity编辑器环境下：videoRotationAngle为0，模型显示正常
• Android设备环境下：videoRotationAngle为270，模型出现旋转

解决方案详解

1. 正确处理输入图像方向

核心思路是在将图像数据传递给MediaPipe处理前，先进行正确的旋转处理。MediaPipe内部使用图像坐标系系统（左上角为原点），这与Unity的坐标系不同。

推荐做法是参考MediaPipeUnityPlugin示例代码中的图像处理方式：

// 获取当前视频旋转角度
int rotation = webCamTexture.videoRotationAngle;

// 根据旋转角度调整输入图像
TextureFrame textureFrame = textureFramePool.Get();
var texture = textureFrame.BuildTexture2D(rotation);

2. 独立处理3D模型旋转

当直接使用姿势关键点控制3D模型时，需要额外考虑设备旋转因素：

// 获取设备旋转角度
int deviceRotation = webCamTexture.videoRotationAngle;

// 应用旋转补偿
Quaternion rotationCompensation = Quaternion.Euler(0f, 0f, -deviceRotation);

// 平滑过渡到目标旋转
modelTransform.rotation = Quaternion.Slerp(
    modelTransform.rotation,
    rotationCompensation,
    Time.deltaTime * rotationSmoothSpeed);

3. 场景构建最佳实践

为避免示例场景中复杂交互带来的干扰，建议：

1. 新建干净场景进行开发测试
2. 直接从MediaPipe结果读取关键点数据，而非通过中间组件
3. 单独处理模型旋转逻辑，不与示例场景的UI控制混杂

进阶建议

1. 多设备兼容性：不同Android设备可能有不同的默认摄像头方向，应动态获取而非硬编码补偿值
2. 性能优化：对于频繁更新的模型，考虑使用四元数缓存减少计算量
3. 调试工具：开发时添加旋转角度可视化调试工具，便于快速定位问题

总结

处理MediaPipeUnityPlugin在Android设备上的模型旋转问题，关键在于理解设备摄像头方向与Unity坐标系的差异，并在图像处理和模型控制两个环节分别进行适当补偿。通过独立处理旋转逻辑、直接读取MediaPipe原始数据，以及建立干净的开发环境，可以有效解决这一常见问题，确保AR应用在不同平台上表现一致。

对于更复杂的应用场景，建议进一步研究设备传感器数据与Unity空间变换的深层关系，以实现更精确的增强现实效果。