想给自家 App 接 mobile-mcp?三步把工具“暴露”给 Agent,手机自己会干活

原创2026-10-24 12:24:242,254 阅读
文章标签:MCP 服务GUI 自动化移动开发人工智能AI AgentCLI

想给自家 App 接 mobile-mcp?三步把工具“暴露”给 Agent,手机自己会干活

先说个很多人不知道的事:让 AI 操作手机,最难的从来不是“AI 聪不聪明”,而是“它够不够得着”。

你手机里的 App,对 AI 来说就像一间上了锁的房间。它能看懂截图,却不知道那个“立即购买”按钮到底在哪、叫什么、能不能点。过去想让程序自动点手机,得写一堆针对 iOS 和 Android 的专门脚本;界面一改版,脚本立刻罢工。这也是为什么手机自动化一直是测试团队的“苦活”,普通人根本碰不到。

最近在 GitHub 上被频繁讨论的 mobile-mcp,干的就是拆锁这件事。它不要求你改自家 App 的一行界面代码,而是像一个“翻译官”,把手机上的点击、滑动、输入、装应用、看日志,统统翻译成 AI Agent 能直接调用的标准动作。

一句话:它给 AI 装上了一双能直接摸到手机屏幕的手。

一、它到底是个啥?别被 MCP 三个字母劝退

MCP 可以理解成 AI 世界的“USB-C 接口”。以前每个 AI 工具要对接每个软件,都得单独定制一根线;有了这个统一接口,插上就能用。

mobile-mcp 就是一根“手机专用转接线”:一头插着 iOS 模拟器、Android 模拟器或者插着数据线的真机,另一头插着 Claude Code、Cursor、Codex、Copilot 这类 AI 客户端。

接好之后,你跟 AI 说“帮我打开这个 App,找到搜索框,输入‘拉面’,把第一个视频点赞”,它就会自己去翻元素、点按钮、敲字、验证结果,一气呵成。

有意思的是,它不靠“看截图猜位置”,而是优先读手机系统自带的无障碍树——也就是给视障用户读屏用的那份“界面说明书”。哪里有按钮、按钮叫什么、在屏幕哪个坐标,写得清清楚楚。这就像你找人帮忙开灯,对方不是靠摸黑猜开关,而是手里有一张房间平面图。

项目方给这招的评价很直白:又快又便宜。不调用视觉大模型,不烧图片 token,能省下一大笔钱。

二、三步接上:不用改 App,也不用懂 iOS 和 Android

很多人一听“给自家 App 接”就以为要改代码、加 SDK。其实不用。你只是把“操作手机的能力”挂到 Agent 那边,App 本身原封不动。整个过程就三步。

第一步:把“手”跑起来。

电脑上装好 Node.js 20 以上版本,然后一行命令就能拉起服务,连安装包都不用单独下。安卓这边需要 adb 能用,苹果这边需要 Xcode 的命令行工具,模拟器先开好,或者真机插上并授权。iOS 真机要额外折腾一点(设备隧道那套),模拟器和安卓基本是开箱即用。

第二步:把“工具名册”报给 Agent。

各家客户端的配置界面长得不一样,但本质是同一件事:填一个服务名,再填上启动命令,保存、重启。配置本身很短,短到你在 Cursor、Claude Desktop、Codex、Copilot、Windsurf 里都是同一套写法,复制粘贴即可。官方甚至做成了插件,在 Claude Code 里两条命令就能装完。

第三步:联调验收,先问一句“有哪些设备”。

这是最容易被跳过、也最值得做的一步。接好之后别急着上复杂任务,先让 Agent 列一下设备。它应该把你开着的模拟器、连着的真机老老实实报出来。能列出来,说明这条链路通了;列不出来,八成是模拟器没开、数据线没授权,或者 adb 不在环境变量里。

接着再让它做个小动作:打开设置、点进“关于手机”、把版本号念给你听。动作越具体,越容易看出它到底是在“真操作”,还是在“编故事”。

三、真正让人上头的地方,是这三个细节

一是“一套动作,通吃所有设备”。

同一句指令,今天跑在安卓模拟器上,明天跑在 iPhone 真机上,工具调用方式完全一样。做测试的同学最懂这意味着什么:以前维护两套脚本,现在维护一套“意图”。界面改版了,也不用满世界找按钮的 id,因为它是按“按钮上的文字和角色”去找的。

二是“批量执行”,把等待时间压下去。

每次让 AI 点一下,都要跟手机来回通信一次,一次几百毫秒到几秒,填个表单能急死人。mobile-mcp 提供了一个批量工具,可以把“点输入框、打字、点提交”打包成一次调用发过去。官方说这是明显的性能提升,实测体感就是从“一步一步挪”变成“一口气做完”。

三是终端里能直接看到手机屏幕。

如果你用 Claude Code,装好插件后输入 /mobile-mirror,手机画面会直接出现在终端侧边栏。你可以用鼠标点它、用键盘往里面打字,Home、返回、切换应用、打开网址都有按钮。

在终端侧边栏里实时查看并操作手机

这个功能的妙处在于“人机接力”:AI 卡住的时候,你伸手点一下,比写十行提示词都快。当然,它需要 kitty 或 Ghostty 这类支持图片协议的终端,普通终端窗口看不到画面。

四、门槛高不高?谁最该用?

硬件门槛不高,一台普通笔记本就行,不需要独立显卡,因为大部分判断交给手机系统的界面结构,而不是跑视觉模型。

真正的门槛在“环境”:安卓要配好平台工具,苹果要装 Xcode,Windows 用户只能玩安卓。纯小白第一次配,卡在环境变量上是常态。

最适合的三类人很明确:

  • App 开发和测试:回归测试、冒烟测试、复现用户反馈的崩溃路径,不用再手点半小时。
  • 做自动化流程的人:签到、填表、批量录入、跨 App 搬运数据,这类“重复但有界面”的活它很擅长。
  • AI 应用开发者:想给自己的 Agent 加一项“能操作手机”的技能,直接接上就行,不用从零造轮子。

顺带说两个容易被忽略的细节。第一,它默认走本地 stdio,数据不出你的电脑;但如果用 HTTP 模式对外提供服务,一定要设 MOBILEMCP_AUTH 这个令牌,否则服务是裸奔的,日志里也会给你警告。第二,它默认收集匿名使用数据,介意的话可以用一个环境变量关掉。项目本身是 Apache-2.0 协议,商用也友好。

五、写在最后

mobile-mcp 最值得玩味的地方,不是它有多少个工具,而是它把“操作手机”这件原本属于专业测试工程师的事,变成了 AI 可以随时调用的一项普通能力。

今天我们还在教 AI“先点这里,再点那里”;再往后,可能只需要说一句“帮我把这个月的账单都导出来,按类别整理好”,剩下的事它自己会在手机上完成。到那时候,“点击 App”这个动作,也许真的会像今天拨号上网一样,变成一段怀旧记忆。

最后留个问题给大家:如果 AI 能替你操作手机,你最想让它先干掉哪件麻烦事? 是每天准点的打卡签到,还是那些永远填不完的表单?评论区聊聊,我猜答案会很有意思。

登录后查看全文
mobile-mcp