ESP32 iPhone Agent 手机设置详解:4 步开启辅助触控,把 iPhone 变成 AI 能摸到的设备
ESP32 iPhone Agent 手机设置详解:4 步开启辅助触控,把 iPhone 变成 AI 能摸到的设备
本文带你完整走一遍 ESP32 iPhone Agent 的手机端设置:这是一个用约 40 元的 ESP32 让 AI 视觉模型直接操作真实 iPhone 的开源项目,不需要 Mac、开发者账号,也不用越狱。其中最关键的一步,就是在 iPhone 上开启 辅助触控(AssistiveTouch)——它让插在手机上的 ESP32 变成"手",让 AI 能点按、滑动你的屏幕。
为什么 AI 操作 iPhone 离不开"辅助触控"?
大多数 iPhone 自动化方案(XCTest / WebDriverAgent 类工具)需要 Mac、Xcode 和开发者账号签名一个辅助 App。而 ESP32 iPhone Agent 走的是"人用手机"的路径:
- 眼:通过 AirPlay 屏幕镜像"看"手机画面;
- 手:一块 ESP32-S3 开发板 插进手机 USB 口,对 iPhone 来说就是一个标准 USB 鼠标 + 键盘;
- 脑:任何兼容 OpenAI 接口的视觉模型(云端 API 或本地部署均可)。
问题在于:iOS 默认不会让"鼠标"直接点屏。只有打开辅助触控后,鼠标才会驱动屏幕上的一个圆形指针——此时鼠标点击 = 点按,拖动 = 滑动。所以辅助触控是整套方案里唯一必须在 iPhone 上开启的设置,这也是本文的重点。
完整安装步骤可参考项目文档 README.zh-CN.md,固件刷写脚本在 hardware/flash.sh。下面进入手机端 4 步设置 👇
第 1 步:开启辅助触控(AssistiveTouch)
进入 iPhone 的 设置 → 辅助功能 → 触控 → 辅助触控,打开开关。
操作提示:
- 只需开启开关,不要修改"跟踪速度"等参数——指针移动的比例依赖默认速度,改动后需要重新校准(网页端会显示未校准状态);
- 打开后屏幕角落会出现一个小白点,这是辅助触控的呼出按钮,不影响后续操作。
这一步在网页界面中对应第一条设置提示"插上控制器",见 server/hidagent/static/i18n.js 中的说明文案。
第 2 步:把 ESP32 插到 iPhone 上
把刷好固件的 ESP32-S3 开发板插进手机 USB 口:
| 机型 | 接法 |
|---|---|
| USB-C iPhone | 直接插入即可 |
| Lightning iPhone | 需要 Lightning 转 USB 相机转换器 |
插入后会发生两件事:
- 屏幕上出现一个圆形指针(辅助触控在起作用了);
- 电脑浏览器打开的网页端显示 controller connected(控制器已连接)。
板子由手机供电;如果希望插着板子时手机还能继续充电,可以加一个支持 PD 直通的 USB-C 扩展坞。
⚠️ 注意:板子通过 Wi-Fi 与电脑通信,固件里的 Wi-Fi 必须填 2.4 GHz 频段,且电脑要与手机在同一局域网。这些写在刷固件时的
secrets.h里,示例文件为 hardware/hid_bridge/secrets.example.h。
第 3 步:开启屏幕镜像,让电脑"看"到手机
在 iPhone 上:控制中心 → 屏幕镜像 → iPhone Agent。
成功后,网页端会出现手机的实时画面(Live screen),点击即点按、拖动即滑动。几个容易踩的坑:
- 关闭自动锁定:手机锁屏后镜像会断开,Agent 工作中请保持亮屏;
- iOS 不镜像部分界面(输入密码、Apple Pay、受版权保护的视频),Agent 看不到这些画面;
- 如果手机屏幕镜像列表里找不到 "iPhone Agent",多网卡 Linux 机器上可把 Avahi(mDNS)限制在手机所在网络的网卡上。
第 4 步:校准指针(Calibrate)
网页里展开 手动操控(Manual controls)→ 校准(Calibrate),开始校准:
- 服务端先把指针推到左上角,再分两段移动它,并在实时画面里通过"轻推找指针"定位它的真实位置;
- 两点即可拟合出"鼠标移动距离 → 屏幕位置"的比例,几秒内自动完成;
- 如果画面太乱找不到指针,网页会提示你:在实时画面里精确点一下那个圆形指针,手动完成定位。
校准的原理实现在 server/hidagent/phone.py:两点定比例和偏移,之后每次点按前服务端还会微调指针、在镜像画面里纠偏,点空了会被发现并重试。校准数据会保存到本地,重启不用反复校准——除非你改了辅助触控的跟踪速度。
设置完成?给 AI 一个任务验证一下
4 步走完后,在网页里输入目标(例如"打开设置,进入 Wi-Fi")点 开始,或直接点示例任务:
- 设置早上 7:00 的闹钟,每天重复,然后保存;
- 打开白板画一个笑脸;
- 打开备忘录写 "hello"。
Agent 会先由规划模型写出简短计划,再由执行模型逐张截图决定下一个动作:点按、滑动、画图、输入、回主屏或结束。每一步的思考、动作和耗时都会显示在实时日志与"步骤截图墙"上,出状况随时按 紧急停止(Esc)。
手机端设置避坑清单
| 现象 | 原因 | 解决 |
|---|---|---|
| 网页显示未连接控制器 | 板子 Wi-Fi 连错 / 频段不对 | 用 2.4 GHz Wi-Fi,与电脑同网段 |
| 网页没有实时画面 | 屏幕镜像没选对接收端 | 控制中心 → 屏幕镜像 → iPhone Agent |
| 指针校准失败 | 画面找不到指针 | 按提示手动点一下圆形指针 |
| 点按位置逐渐偏移 | 改过辅助触控跟踪速度 | 恢复默认,重新校准 |
| 任务中途中断 | 手机锁屏导致镜像断开 | 工作时关闭自动锁定 |
把辅助触控打开、板子插上、画面共享、指针校准——只要 4 步,一部普通 iPhone 就变成了 AI 真正"摸得到"的设备。👉 更多细节(本地视觉模型部署、调试模式、板子协议)欢迎继续阅读 README.zh-CN.md。

