MediaPipe Face Landmarker 在 Android 上的性能优化实践

背景介绍

MediaPipe 是 Google 推出的跨平台机器学习解决方案，其中的 Face Landmarker 模型能够实时检测人脸关键点。然而在实际应用中，开发者可能会遇到性能瓶颈问题。本文将分享在 Android 平台上优化 Face Landmarker 性能的实践经验。

性能问题表现

在 Pixel 9 Pro 等高端设备上，Face Landmarker 模型运行仍然会出现明显的卡顿现象。经过测试发现：

1. 无论是 Debug 还是 Release 构建变体，性能差异不大
2. 使用 GPU 委托（Delegate）相比 CPU 委托没有显著提升
3. 在 Gallery 模式下，人脸标记会出现偏移问题

性能优化方案

1. 禁用混合形状输出

Face Landmarker 默认会输出面部混合形状（Blend Shapes）数据，这些数据用于面部表情分析。如果应用场景不需要表情识别功能，可以通过以下方式禁用：

FaceLandmarker.FaceLandmarkerOptions.builder()
    .setOutputFaceBlendshapes(false)
    .build()

禁用此功能可以显著减少计算量，提升运行速度。

2. 使用视频模式替代实时模式

MediaPipe 提供三种运行模式：

• 实时模式（RunningMode.LIVE_STREAM）
• 视频模式（RunningMode.VIDEO）
• 图像模式（RunningMode.IMAGE）

对于不需要严格实时反馈的场景，使用视频模式可以获得更好的性能：

FaceLandmarker.FaceLandmarkerOptions.builder()
    .setRunningMode(RunningMode.VIDEO)
    .build()

3. 关闭面部变换矩阵输出

如果应用不需要3D面部姿态估计，可以关闭面部变换矩阵输出：

FaceLandmarker.FaceLandmarkerOptions.builder()
    .setOutputFacialTransformationMatrixes(false)
    .build()

对比测试结果

与 Face Detector 模型相比，Face Landmarker 的计算复杂度更高。经过上述优化后：

1. 帧率从卡顿状态提升到流畅水平
2. 内存占用有所降低
3. Gallery 模式下的偏移问题得到解决（注意：偏移问题主要是由于图像裁剪处理不当造成的）

最佳实践建议

1. 根据实际需求选择功能输出，不需要的功能务必关闭
2. 优先使用 GPU 委托，虽然在某些设备上提升不明显
3. 对于静态图像处理，使用 IMAGE 模式性能最佳
4. 在 UI 线程外处理模型推理结果，避免界面卡顿

总结

通过合理配置 Face Landmarker 的选项，开发者可以在保持核心功能的同时获得更好的性能表现。关键在于理解各项输出的用途，并根据应用场景进行取舍。对于只需要基础人脸关键点检测的应用，禁用高级功能是最有效的优化手段。

未来随着 MediaPipe 的持续更新，期待官方能提供更多性能优化选项，使开发者能够更灵活地平衡功能与性能。