首页
/ 30分钟上手！MediaPipe多平台部署完全指南

30分钟上手！MediaPipe多平台部署完全指南

2026-02-04 05:18:41作者：段琳惟
mediapipe
Cross-platform, customizable ML solutions for live and streaming media.
项目地址：https://gitcode.com/gh_mirrors/me/mediapipe

你还在为跨平台部署机器学习模型而烦恼吗？本文将带你30分钟内掌握MediaPipe在Android、iOS、桌面端和Web平台的部署方法，从环境搭建到实际案例，让你轻松实现实时媒体处理应用。读完本文，你将能够：

  • 在不同操作系统上配置MediaPipe开发环境
  • 理解MediaPipe核心功能模块的使用方法
  • 完成至少两个平台的部署实践
  • 解决常见的部署问题

MediaPipe简介

MediaPipe是一个跨平台的机器学习解决方案框架，专为实时媒体处理设计。它提供了可定制的ML模型和构建块，帮助开发者快速构建高性能的视觉和音频处理应用。无论是移动端、桌面端还是Web平台，MediaPipe都能提供一致的API和出色的性能。

官方文档：docs/getting_started/getting_started.md

支持的平台和解决方案

MediaPipe支持多种平台和解决方案，以下是主要支持情况：

解决方案 Android iOS C++ Python JS Coral
Face Detection ✅ ✅ ✅ ✅ ✅ ✅
Face Mesh ✅ ✅ ✅ ✅ ✅
Hands ✅ ✅ ✅ ✅ ✅
Pose ✅ ✅ ✅ ✅ ✅
Selfie Segmentation ✅ ✅ ✅ ✅ ✅

完整解决方案列表：docs/solutions/solutions.md

环境搭建

系统要求

MediaPipe支持多种操作系统，以下是主要平台的环境要求：

  • Linux: Ubuntu 16.04+ 或 Debian 9+
  • macOS: macOS 10.14+
  • Windows: Windows 10+ 或 WSL2
  • Android: Android Studio 4.0+, SDK 21+
  • iOS: Xcode 12.0+, iOS 12.0+

快速安装步骤

Linux/macOS

  1. 安装依赖工具：
# Ubuntu/Debian
sudo apt-get update && sudo apt-get install -y build-essential git python zip adb openjdk-8-jdk

# macOS
brew install bazelisk opencv@3 python
brew uninstall --ignore-dependencies glog
pip3 install --user six
  1. 克隆仓库：
git clone https://gitcode.com/gh_mirrors/me/mediapipe.git
cd mediapipe
  1. 安装OpenCV：
# 自动安装脚本
./setup_opencv.sh

详细安装指南：docs/getting_started/install.md

Windows

  1. 安装MSYS2和必要工具：
pacman -S git patch unzip

  1. 安装Visual Studio Build Tools和Windows SDK

  2. 克隆仓库并配置OpenCV：

git clone https://gitcode.com/gh_mirrors/me/mediapipe.git
cd mediapipe
  1. 编辑WORKSPACE文件，配置OpenCV路径：
new_local_repository(
    name = "windows_opencv",
    build_file = "@//third_party:opencv_windows.BUILD",
    path = "C:\\path\\to\\opencv\\build",
)

Windows安装详情：docs/getting_started/install.md

核心功能模块

MediaPipe提供了丰富的预构建模块，可直接用于各种视觉任务。以下是几个常用模块：

手部关键点检测

手部关键点检测模块可以实时检测手掌21个关键点，支持单手和多手跟踪。

主要子图：

子图 详情
HandLandmarkCpu 单只手关键点检测（CPU输入）
HandLandmarkGpu 单只手关键点检测（GPU输入）
HandLandmarkTrackingCpu 多只手关键点检测与跟踪（CPU输入）
HandLandmarkTrackingGpu 多只手关键点检测与跟踪（GPU输入）

模块文档：mediapipe/modules/hand_landmark/README.md

人脸检测与网格

MediaPipe提供了高效的人脸检测和68个关键点的网格模型，可用于面部表情分析、虚拟化妆等应用。

主要解决方案：

多平台部署实践

桌面端部署

以手部跟踪为例，演示如何在桌面端部署MediaPipe应用：

  1. 运行预编译示例：
# CPU版本
GLOG_logtostderr=1 bazel run --define MEDIAPIPE_DISABLE_GPU=1 mediapipe/examples/desktop/hand_tracking:hand_tracking_cpu

# GPU版本 (Linux)
GLOG_logtostderr=1 bazel run --copt -DMESA_EGL_NO_X11_HEADERS --copt -DEGL_NO_X11 mediapipe/examples/desktop/hand_tracking:hand_tracking_gpu
  1. 自定义应用开发：

创建自己的图形配置文件，例如my_hand_tracking.pbtxt，然后使用Bazel构建：

bazel build -c opt mediapipe/examples/desktop/my_app:my_hand_tracking_app

桌面端示例：mediapipe/examples/desktop/hand_tracking

Web端部署

MediaPipe提供了JavaScript API，可直接在浏览器中运行。以下是手部跟踪的简单示例：

  1. 安装依赖：
npm install @mediapipe/hands @mediapipe/drawing_utils
  1. 示例代码：
<!DOCTYPE html>
<html>
<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/hands@0.4/hands.min.js"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/drawing_utils@0.3/drawing_utils.min.js"></script>
</head>
<body>
  <video id="video" width="640" height="480" autoplay></video>
  <canvas id="output" width="640" height="480"></canvas>

  <script>
    const hands = new Hands({locateFile: (file) => {
      return `https://cdn.jsdelivr.net/npm/@mediapipe/hands@0.4/${file}`;
    }});

    hands.setOptions({
      maxNumHands: 2,
      modelComplexity: 1,
      minDetectionConfidence: 0.5,
      minTrackingConfidence: 0.5
    });

    hands.onResults(results => {
      const canvas = document.getElementById('output');
      const canvasCtx = canvas.getContext('2d');
      canvasCtx.clearRect(0, 0, canvas.width, canvas.height);
      canvasCtx.drawImage(results.image, 0, 0, canvas.width, canvas.height);
      if (results.multiHandLandmarks) {
        for (const landmarks of results.multiHandLandmarks) {
          drawConnectors(canvasCtx, landmarks, HAND_CONNECTIONS);
          drawLandmarks(canvasCtx, landmarks);
        }
      }
    });

    const video = document.getElementById('video');
    navigator.mediaDevices.getUserMedia({video: true})
      .then(stream => {video.srcObject = stream;})
      .then(() => new Promise(resolve => {video.onloadedmetadata = resolve;}))
      .then(() => {video.play(); requestAnimationFrame(update);});

    function update() {
      hands.send({image: video});
      requestAnimationFrame(update);
    }
  </script>
</body>
</html>

Web端文档：docs/getting_started/javascript.md

移动端部署

Android

  1. 设置Android环境：
./setup_android_sdk_and_ndk.sh
  1. 构建APK：
bazel build -c opt --config=android_arm64 mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu:handtrackinggpu
  1. 安装到设备：
adb install bazel-bin/mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu/handtrackinggpu.apk

Android示例：mediapipe/examples/android

iOS

  1. 生成Xcode项目：
# 安装Tulsi
git clone https://github.com/bazelbuild/tulsi.git
cd tulsi
sh build_and_run.sh

# 生成项目
open mediapipe/Mediapipe.tulsiproj
  1. 在Xcode中构建并运行：

选择目标设备，点击"Build and Run"按钮。

iOS示例：mediapipe/examples/ios

常见问题解决

构建错误

  1. OpenCV依赖问题：

确保OpenCV路径正确配置在WORKSPACE文件中：

new_local_repository(
    name = "linux_opencv",
    build_file = "@//third_party:opencv_linux.BUILD",
    path = "/usr/local",
)
  1. Bazel版本问题：

使用Bazelisk自动管理Bazel版本：

brew install bazelisk  # macOS
# 或手动安装Bazelisk

性能优化

  1. GPU加速：

尽可能使用GPU版本的子图，如HandLandmarkGpu替代HandLandmarkCpu。

  1. 模型量化：

对TensorFlow Lite模型进行量化，减小模型大小并提高推理速度。

性能优化指南：docs/tools/performance_benchmarking.md

总结与展望

MediaPipe为跨平台实时媒体处理提供了强大的解决方案，通过本文的指南，你已经掌握了基本的环境搭建和多平台部署方法。无论是移动端应用、桌面软件还是Web应用，MediaPipe都能提供高效的ML推理能力。

未来，MediaPipe将继续优化模型性能，增加更多解决方案，并提升开发体验。你可以通过以下资源获取最新信息：

如果你觉得本文对你有帮助，请点赞、收藏并关注后续更新！下一篇我们将深入探讨MediaPipe自定义模型的训练与部署。

附录：资源列表

mediapipe
Cross-platform, customizable ML solutions for live and streaming media.
项目地址：https://gitcode.com/gh_mirrors/me/mediapipe
登录后查看全文
热门项目推荐
相关项目推荐

项目优选

收起
kernelkernel
deepin linux kernel
C
27
11
docsdocs
OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
567
3.83 K
ops-mathops-math
本项目是CANN提供的数学类基础计算算子库，实现网络在NPU上加速计算。
C++
892
667
pytorchpytorch
Ascend Extension for PyTorch
Python
376
446
kernelkernel
openEuler内核是openEuler操作系统的核心，既是系统性能与稳定性的基石，也是连接处理器、设备与服务的桥梁。
C
349
200
MindSpeed-LLMMindSpeed-LLM
昇腾LLM分布式训练框架
Python
116
145
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot，Spring Security，JWT，Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
1.37 K
778
flutter_flutterflutter_flutter
暂无简介
Dart
798
197
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
JavaScript
308
359
agent-studioagent-studio
openJiuwen agent-studio提供零码、低码可视化开发和工作流编排，模型、知识库、插件等各资源管理能力
TSX
1.13 K
271