ESP32 iPhone Agent 手机设置详解:4 步开启辅助触控,把 iPhone 变成 AI 能摸到的设备

原创2026-10-15 16:37:412,265 阅读
文章标签:人工智能大模型AI AgentGUI 自动化AI 应用嵌入式

ESP32 iPhone Agent 手机设置详解:4 步开启辅助触控,把 iPhone 变成 AI 能摸到的设备

本文带你完整走一遍 ESP32 iPhone Agent 的手机端设置:这是一个用约 40 元的 ESP32 让 AI 视觉模型直接操作真实 iPhone 的开源项目,不需要 Mac、开发者账号,也不用越狱。其中最关键的一步,就是在 iPhone 上开启 辅助触控(AssistiveTouch)——它让插在手机上的 ESP32 变成"手",让 AI 能点按、滑动你的屏幕。

ESP32 iPhone Agent 手机设置:XIAO ESP32S3 插在 iPhone 上,网页端显示 AI 手机控制界面

为什么 AI 操作 iPhone 离不开"辅助触控"?

大多数 iPhone 自动化方案(XCTest / WebDriverAgent 类工具)需要 Mac、Xcode 和开发者账号签名一个辅助 App。而 ESP32 iPhone Agent 走的是"人用手机"的路径:

  • 眼:通过 AirPlay 屏幕镜像"看"手机画面;
  • 手:一块 ESP32-S3 开发板 插进手机 USB 口,对 iPhone 来说就是一个标准 USB 鼠标 + 键盘;
  • 脑:任何兼容 OpenAI 接口的视觉模型(云端 API 或本地部署均可)。

问题在于:iOS 默认不会让"鼠标"直接点屏。只有打开辅助触控后,鼠标才会驱动屏幕上的一个圆形指针——此时鼠标点击 = 点按,拖动 = 滑动。所以辅助触控是整套方案里唯一必须在 iPhone 上开启的设置,这也是本文的重点。

完整安装步骤可参考项目文档 README.zh-CN.md,固件刷写脚本在 hardware/flash.sh。下面进入手机端 4 步设置 👇

第 1 步:开启辅助触控(AssistiveTouch)

进入 iPhone 的 设置 → 辅助功能 → 触控 → 辅助触控,打开开关。

操作提示:

  • 只需开启开关,不要修改"跟踪速度"等参数——指针移动的比例依赖默认速度,改动后需要重新校准(网页端会显示未校准状态);
  • 打开后屏幕角落会出现一个小白点,这是辅助触控的呼出按钮,不影响后续操作。

这一步在网页界面中对应第一条设置提示"插上控制器",见 server/hidagent/static/i18n.js 中的说明文案。

第 2 步:把 ESP32 插到 iPhone 上

把刷好固件的 ESP32-S3 开发板插进手机 USB 口:

机型 接法
USB-C iPhone 直接插入即可
Lightning iPhone 需要 Lightning 转 USB 相机转换器

插入后会发生两件事:

  1. 屏幕上出现一个圆形指针(辅助触控在起作用了);
  2. 电脑浏览器打开的网页端显示 controller connected(控制器已连接)。

板子由手机供电;如果希望插着板子时手机还能继续充电,可以加一个支持 PD 直通的 USB-C 扩展坞。

⚠️ 注意:板子通过 Wi-Fi 与电脑通信,固件里的 Wi-Fi 必须填 2.4 GHz 频段,且电脑要与手机在同一局域网。这些写在刷固件时的 secrets.h 里,示例文件为 hardware/hid_bridge/secrets.example.h。

第 3 步:开启屏幕镜像,让电脑"看"到手机

在 iPhone 上:控制中心 → 屏幕镜像 → iPhone Agent。

成功后,网页端会出现手机的实时画面(Live screen),点击即点按、拖动即滑动。几个容易踩的坑:

  • 关闭自动锁定:手机锁屏后镜像会断开,Agent 工作中请保持亮屏;
  • iOS 不镜像部分界面(输入密码、Apple Pay、受版权保护的视频),Agent 看不到这些画面;
  • 如果手机屏幕镜像列表里找不到 "iPhone Agent",多网卡 Linux 机器上可把 Avahi(mDNS)限制在手机所在网络的网卡上。

第 4 步:校准指针(Calibrate)

网页里展开 手动操控(Manual controls)→ 校准(Calibrate),开始校准:

  1. 服务端先把指针推到左上角,再分两段移动它,并在实时画面里通过"轻推找指针"定位它的真实位置;
  2. 两点即可拟合出"鼠标移动距离 → 屏幕位置"的比例,几秒内自动完成;
  3. 如果画面太乱找不到指针,网页会提示你:在实时画面里精确点一下那个圆形指针,手动完成定位。

校准的原理实现在 server/hidagent/phone.py:两点定比例和偏移,之后每次点按前服务端还会微调指针、在镜像画面里纠偏,点空了会被发现并重试。校准数据会保存到本地,重启不用反复校准——除非你改了辅助触控的跟踪速度。

AI 手机助手设置校准完成后的网页界面:实时画面、日志与每步截图墙

设置完成?给 AI 一个任务验证一下

4 步走完后,在网页里输入目标(例如"打开设置,进入 Wi-Fi")点 开始,或直接点示例任务:

  • 设置早上 7:00 的闹钟,每天重复,然后保存;
  • 打开白板画一个笑脸;
  • 打开备忘录写 "hello"。

Agent 会先由规划模型写出简短计划,再由执行模型逐张截图决定下一个动作:点按、滑动、画图、输入、回主屏或结束。每一步的思考、动作和耗时都会显示在实时日志与"步骤截图墙"上,出状况随时按 紧急停止(Esc)。

手机端设置避坑清单

现象 原因 解决
网页显示未连接控制器 板子 Wi-Fi 连错 / 频段不对 用 2.4 GHz Wi-Fi,与电脑同网段
网页没有实时画面 屏幕镜像没选对接收端 控制中心 → 屏幕镜像 → iPhone Agent
指针校准失败 画面找不到指针 按提示手动点一下圆形指针
点按位置逐渐偏移 改过辅助触控跟踪速度 恢复默认,重新校准
任务中途中断 手机锁屏导致镜像断开 工作时关闭自动锁定

把辅助触控打开、板子插上、画面共享、指针校准——只要 4 步,一部普通 iPhone 就变成了 AI 真正"摸得到"的设备。👉 更多细节(本地视觉模型部署、调试模式、板子协议)欢迎继续阅读 README.zh-CN.md。

登录后查看全文
esp32-iphone-agent