30分钟上手！MediaPipe多平台部署完全指南

2026-02-04 05:18:41作者：段琳惟

你还在为跨平台部署机器学习模型而烦恼吗？本文将带你30分钟内掌握MediaPipe在Android、iOS、桌面端和Web平台的部署方法，从环境搭建到实际案例，让你轻松实现实时媒体处理应用。读完本文，你将能够：

在不同操作系统上配置MediaPipe开发环境
理解MediaPipe核心功能模块的使用方法
完成至少两个平台的部署实践
解决常见的部署问题

MediaPipe简介

MediaPipe是一个跨平台的机器学习解决方案框架，专为实时媒体处理设计。它提供了可定制的ML模型和构建块，帮助开发者快速构建高性能的视觉和音频处理应用。无论是移动端、桌面端还是Web平台，MediaPipe都能提供一致的API和出色的性能。

官方文档：docs/getting_started/getting_started.md

支持的平台和解决方案

MediaPipe支持多种平台和解决方案，以下是主要支持情况：

解决方案	Android	iOS	C++	Python	JS	Coral
Face Detection	✅	✅	✅	✅	✅	✅
Face Mesh	✅	✅	✅	✅	✅
Hands	✅	✅	✅	✅	✅
Pose	✅	✅	✅	✅	✅
Selfie Segmentation	✅	✅	✅	✅	✅

完整解决方案列表：docs/solutions/solutions.md

环境搭建

系统要求

MediaPipe支持多种操作系统，以下是主要平台的环境要求：

Linux: Ubuntu 16.04+ 或 Debian 9+
macOS: macOS 10.14+
Windows: Windows 10+ 或 WSL2
Android: Android Studio 4.0+, SDK 21+
iOS: Xcode 12.0+, iOS 12.0+

快速安装步骤

Linux/macOS

安装依赖工具：

# Ubuntu/Debian
sudo apt-get update && sudo apt-get install -y build-essential git python zip adb openjdk-8-jdk

# macOS
brew install bazelisk opencv@3 python
brew uninstall --ignore-dependencies glog
pip3 install --user six

克隆仓库：

git clone https://gitcode.com/gh_mirrors/me/mediapipe.git
cd mediapipe

安装OpenCV：

# 自动安装脚本
./setup_opencv.sh

详细安装指南：docs/getting_started/install.md

Windows

安装MSYS2和必要工具：

pacman -S git patch unzip

安装Visual Studio Build Tools和Windows SDK
克隆仓库并配置OpenCV：

git clone https://gitcode.com/gh_mirrors/me/mediapipe.git
cd mediapipe

编辑WORKSPACE文件，配置OpenCV路径：

new_local_repository(
    name = "windows_opencv",
    build_file = "@//third_party:opencv_windows.BUILD",
    path = "C:\\path\\to\\opencv\\build",
)

Windows安装详情：docs/getting_started/install.md

核心功能模块

MediaPipe提供了丰富的预构建模块，可直接用于各种视觉任务。以下是几个常用模块：

手部关键点检测

手部关键点检测模块可以实时检测手掌21个关键点，支持单手和多手跟踪。

主要子图：

子图	详情
HandLandmarkCpu	单只手关键点检测（CPU输入）
HandLandmarkGpu	单只手关键点检测（GPU输入）
HandLandmarkTrackingCpu	多只手关键点检测与跟踪（CPU输入）
HandLandmarkTrackingGpu	多只手关键点检测与跟踪（GPU输入）

模块文档：mediapipe/modules/hand_landmark/README.md

人脸检测与网格

MediaPipe提供了高效的人脸检测和68个关键点的网格模型，可用于面部表情分析、虚拟化妆等应用。

主要解决方案：

多平台部署实践

桌面端部署

以手部跟踪为例，演示如何在桌面端部署MediaPipe应用：

运行预编译示例：

# CPU版本
GLOG_logtostderr=1 bazel run --define MEDIAPIPE_DISABLE_GPU=1 mediapipe/examples/desktop/hand_tracking:hand_tracking_cpu

# GPU版本 (Linux)
GLOG_logtostderr=1 bazel run --copt -DMESA_EGL_NO_X11_HEADERS --copt -DEGL_NO_X11 mediapipe/examples/desktop/hand_tracking:hand_tracking_gpu

自定义应用开发：

创建自己的图形配置文件，例如my_hand_tracking.pbtxt，然后使用Bazel构建：

bazel build -c opt mediapipe/examples/desktop/my_app:my_hand_tracking_app

桌面端示例：mediapipe/examples/desktop/hand_tracking

Web端部署

MediaPipe提供了JavaScript API，可直接在浏览器中运行。以下是手部跟踪的简单示例：

安装依赖：

npm install @mediapipe/hands @mediapipe/drawing_utils

示例代码：

<!DOCTYPE html>
<html>
<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/hands@0.4/hands.min.js"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/drawing_utils@0.3/drawing_utils.min.js"></script>
</head>
<body>
  <video id="video" width="640" height="480" autoplay></video>
  <canvas id="output" width="640" height="480"></canvas>

  <script>
    const hands = new Hands({locateFile: (file) => {
      return `https://cdn.jsdelivr.net/npm/@mediapipe/hands@0.4/${file}`;
    }});

    hands.setOptions({
      maxNumHands: 2,
      modelComplexity: 1,
      minDetectionConfidence: 0.5,
      minTrackingConfidence: 0.5
    });

    hands.onResults(results => {
      const canvas = document.getElementById('output');
      const canvasCtx = canvas.getContext('2d');
      canvasCtx.clearRect(0, 0, canvas.width, canvas.height);
      canvasCtx.drawImage(results.image, 0, 0, canvas.width, canvas.height);
      if (results.multiHandLandmarks) {
        for (const landmarks of results.multiHandLandmarks) {
          drawConnectors(canvasCtx, landmarks, HAND_CONNECTIONS);
          drawLandmarks(canvasCtx, landmarks);
        }
      }
    });

    const video = document.getElementById('video');
    navigator.mediaDevices.getUserMedia({video: true})
      .then(stream => {video.srcObject = stream;})
      .then(() => new Promise(resolve => {video.onloadedmetadata = resolve;}))
      .then(() => {video.play(); requestAnimationFrame(update);});

    function update() {
      hands.send({image: video});
      requestAnimationFrame(update);
    }
  </script>
</body>
</html>

Web端文档：docs/getting_started/javascript.md

移动端部署

Android

设置Android环境：

./setup_android_sdk_and_ndk.sh

构建APK：

bazel build -c opt --config=android_arm64 mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu:handtrackinggpu

安装到设备：

adb install bazel-bin/mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu/handtrackinggpu.apk

Android示例：mediapipe/examples/android

iOS

生成Xcode项目：

# 安装Tulsi
git clone https://github.com/bazelbuild/tulsi.git
cd tulsi
sh build_and_run.sh

# 生成项目
open mediapipe/Mediapipe.tulsiproj

在Xcode中构建并运行：

选择目标设备，点击"Build and Run"按钮。

iOS示例：mediapipe/examples/ios

常见问题解决

构建错误

OpenCV依赖问题：

确保OpenCV路径正确配置在WORKSPACE文件中：

new_local_repository(
    name = "linux_opencv",
    build_file = "@//third_party:opencv_linux.BUILD",
    path = "/usr/local",
)

Bazel版本问题：

使用Bazelisk自动管理Bazel版本：

brew install bazelisk  # macOS
# 或手动安装Bazelisk

性能优化

GPU加速：

尽可能使用GPU版本的子图，如HandLandmarkGpu替代HandLandmarkCpu。

模型量化：

对TensorFlow Lite模型进行量化，减小模型大小并提高推理速度。

性能优化指南：docs/tools/performance_benchmarking.md

总结与展望

MediaPipe为跨平台实时媒体处理提供了强大的解决方案，通过本文的指南，你已经掌握了基本的环境搭建和多平台部署方法。无论是移动端应用、桌面软件还是Web应用，MediaPipe都能提供高效的ML推理能力。

未来，MediaPipe将继续优化模型性能，增加更多解决方案，并提升开发体验。你可以通过以下资源获取最新信息：

GitHub仓库：mediapipe
问题跟踪：CONTRIBUTING.md
示例代码：mediapipe/examples

如果你觉得本文对你有帮助，请点赞、收藏并关注后续更新！下一篇我们将深入探讨MediaPipe自定义模型的训练与部署。

附录：资源列表

官方文档：docs
API参考：mediapipe/docs
示例代码：mediapipe/examples
模型下载：docs/solutions/models.md
性能分析工具：docs/tools/performance_benchmarking.md

mediapipe

Cross-platform, customizable ML solutions for live and streaming media.

项目地址：https://gitcode.com/gh_mirrors/me/mediapipe

登录后查看全文

项目优选

收起

kernel

deepin linux kernel

docs

OpenHarmony documentation | OpenHarmony开发者文档

Ascend Extension for PyTorch

本项目是CANN提供的数学类基础计算算子库，实现网络在NPU上加速计算。

openEuler内核是openEuler操作系统的核心，既是系统性能与稳定性的基石，也是连接处理器、设备与服务的桥梁。

Nop Platform 2.0是基于可逆计算理论实现的采用面向语言编程范式的新一代低代码开发平台，包含基于全新原理从零开始研发的GraphQL引擎、ORM引擎、工作流引擎、报表引擎、规则引擎、批处理引引擎等完整设计。nop-entropy是它的后端部分，采用java语言实现，可选择集成Spring框架或者Quarkus框架。中小企业可以免费商用

Java

RuoYi-Vue3

🎉 (RuoYi)官方仓库基于SpringBoot，Spring Security，JWT，Vue3 & Vite、Element Plus 的前后端分离权限管理系统

openJiuwen agent-studio提供零码、低码可视化开发和工作流编排，模型、知识库、插件等各资源管理能力

TSX

986

246

30分钟上手！MediaPipe多平台部署完全指南

MediaPipe简介

支持的平台和解决方案

环境搭建

系统要求

快速安装步骤

Linux/macOS

Windows

核心功能模块

手部关键点检测

人脸检测与网格

多平台部署实践

桌面端部署

Web端部署

移动端部署

Android

iOS

常见问题解决

构建错误

性能优化

总结与展望

附录：资源列表

热门内容推荐

最新内容推荐

项目优选

30分钟上手！MediaPipe多平台部署完全指南

MediaPipe简介

支持的平台和解决方案

环境搭建

系统要求

快速安装步骤

Linux/macOS

Windows

核心功能模块

手部关键点检测

人脸检测与网格

多平台部署实践

桌面端部署

Web端部署

移动端部署

Android

iOS

常见问题解决

构建错误

性能优化

总结与展望

附录：资源列表

相关内容推荐

热门内容推荐

最新内容推荐

项目优选