MediaPipe iOS 项目中实现Pose Landmarker的横屏适配方案

背景介绍

在iOS平台上使用MediaPipe的Pose Landmarker解决方案时，开发者可能会遇到一个常见问题：当应用以横屏(landscape)模式运行时，姿态检测系统会先尝试在竖屏(portrait)方向寻找用户姿态，导致检测延迟和方向错误。本文将深入分析这个问题并提供解决方案。

问题现象

当iOS应用以横屏模式启动时，Pose Landmarker会出现以下行为：

1. 初始3-20秒内检测不到正确姿态
2. 姿态覆盖层显示方向错误（水平显示）
3. 系统先尝试在竖屏方向检测，然后才切换到横屏模式

根本原因

这个问题源于iOS设备方向与摄像头图像方向的映射关系。默认情况下，MediaPipe的Pose Landmarker会基于设备物理方向来处理图像，导致在横屏模式下需要额外的转换时间。

解决方案

通过修改CameraViewController中的方向处理逻辑，可以强制Pose Landmarker始终以特定方向处理图像：

func didOutput(sampleBuffer: CMSampleBuffer, orientation: UIImage.Orientation) {
   let currentTimeMs = Date().timeIntervalSince1970 * 1000

   backgroundQueue.async { [weak self] in
       self?.poseLandmarkerService?.detectAsync(
           sampleBuffer: sampleBuffer,
           orientation: UIImage.Orientation.from(
               deviceOrientation: .faceUp),
           timeStamps: Int(currentTimeMs))
   }
}

关键修改点是将设备方向硬编码为.faceUp，而不是动态获取当前设备方向。这样做的优势是：

1. 姿态检测系统不再需要适应设备物理方向变化
2. 检测过程更加稳定，无需方向转换时间
3. 特别适合固定方向的应用场景（如健身指导类应用）

实现原理

.faceUp方向代表设备屏幕朝上的状态，这种设置使得：

• 图像处理方向保持固定
• 姿态检测算法无需频繁调整方向参数
• 减少了坐标系转换带来的性能开销

适用场景

这种解决方案特别适合以下应用场景：

1. 健身指导类应用
2. 舞蹈教学应用
3. 任何需要固定设备方向使用的姿态检测应用

注意事项

1. 如果应用需要支持多种设备方向，此方案可能需要进一步调整
2. 在需要精确方向检测的场景下，应考虑结合设备陀螺仪数据
3. 测试时需验证不同设备型号上的表现一致性

总结

通过强制指定设备方向为.faceUp，可以有效解决MediaPipe Pose Landmarker在iOS横屏模式下的初始检测延迟问题。这种方案简化了方向处理逻辑，提高了检测效率和稳定性，特别适合固定方向使用的应用场景。开发者可以根据实际需求选择是否采用此方案或进行适当调整。