AI手机自动化框架OpenPocket入门:让手机24小时为你打工,一文看懂这个永不休眠的智能体
AI手机自动化框架OpenPocket入门:让手机24小时为你打工,一文看懂这个永不休眠的智能体
OpenPocket 是一个开源的 AI 手机自动化框架:它让 AI 智能体(Agent)在你自己的电脑上,通过 ADB 接管一部本地 Android 手机(模拟器或真机),像真人一样点击、滑动、打字、切换 App——回消息、付款、刷游戏、发社交动态,全程本地运行、数据不出机器。你只需要用一句自然语言下达任务,它就 24 小时替你"打工"。
图示:将 OpenPocket Phone 插件安装进 Codex Desktop 后的界面,AI 编程工具从此可以直接操作 Android 手机。
一、OpenPocket 是什么?3 个关键词看懂
1️⃣ 本地优先(Local-first)
所有自动化都在你自己的机器上执行:设备控制、会话记录、截图、审批中继全部本地存储,可审计、不依赖云手机服务。隐私数据(账号、凭据、运行状态)永远留在你自己的环境中。
2️⃣ 双手机隔离模型(Human Phone vs Agent Phone)
- Agent Phone:被 AI 控制的执行目标(模拟器或连接的手机),是一个干净的运行时环境;
- Human Phone:你真正的个人手机,只用于敏感操作时远程审批,与自动化运行环境完全隔离。
3️⃣ 人机协同(Human-in-the-Loop)
碰到验证码、付款、摄像头、OAuth 登录等真实世界敏感环节时,智能体不会硬闯,而是通过本地私有中继把一次性审批链接推送到你的手机浏览器——你点头,它才继续。
📖 更多产品理念可参考 frontend/concepts/project-blueprint.md。
二、核心能力一览:6 大特性让手机真的"永不休眠"
| 能力 | 说明 |
|---|---|
| 🧠 多模型支持 | OpenAI GPT-5.x、Claude、Gemini、DeepSeek、Qwen、GLM、Kimi、MiniMax、豆包等随意切换 |
| 📱 多智能体 | 一次安装运行多个完全隔离的 Agent,各自绑定一台设备,组建本地"手机农场" |
| ⏰ 定时任务 | 用自然语言创建 cron 任务,如"每天 8 点打开 Slack 打卡" |
| 🛡️ 人工授权中继 | 敏感操作(付款、定位、相机)升级为你本人审批,支持 ngrok 可选公网入口 |
| 💬 多渠道接入 | 通过 Telegram、Discord、WhatsApp、Slack、iMessage 或 CLI 下发任务和接收结果 |
| 🧩 技能扩展 | 往 skills 目录丢一个 SKILL.md 文件即可教会智能体新流程,无需改代码 |
三、5 分钟快速上手:最快本地部署步骤
前置条件
- Node.js 20+
- Android platform-tools(
adb) - 你选用的模型 API Key
- 目标设备:Android 模拟器(默认,推荐新手)或开启 USB/无线调试的真机(不需要 root)
安装与初始化(npm 方式,推荐)
npm install -g openpocket
openpocket onboard
首次 onboard 会自动创建默认 Agent 的配置文件 config.json、工作区 workspace/(含身份模板 BOOTSTRAP.md、IDENTITY.md、MEMORY.md 等)和运行状态目录 state/。
跑一个一次性任务
openpocket agent --model gpt-5.2-codex "打开 Chrome 搜索天气"
执行结果包含:任务摘要、会话文件路径(workspace/sessions/session-*.md)和当天记忆追加(workspace/memory/YYYY-MM-DD.md)——每一步都可回看、可审计。
启动常驻网关
openpocket gateway start
之后就能通过你配置好的聊天渠道随时派活了。完整的环境变量与命令自检流程见 frontend/get-started/quickstart.md,设备目标的详细配置(模拟器 / 真机配对 / 无线 ADB)见 frontend/get-started/device-targets.md。
四、3 种方式给手机派活
方式 1:CLI 单发 —— 适合脚本化和一次性任务(见上文 openpocket agent)。
方式 2:聊天网关 —— gateway start 后,在 Telegram/Discord/WhatsApp 里直接发文字,智能体自动区分"闲聊"与"任务"并路由执行,支持 /context、/auth 等调试命令。
方式 3:定时任务(Cron) —— 这是"24 小时打工"的关键。自然语言描述即可持久化调度,任务运行在隔离的 cron:<jobId> 会话里:
openpocket cron add --id daily-slack-checkin \
--name "Daily Slack Check-in" \
--cron "0 8 * * *" --tz Asia/Shanghai \
--task "打开 Slack 并完成打卡" \
--channel telegram --to 12345
五、多智能体:一台电脑 + N 台手机的"本地手机农场"
OpenPocket 采用"一个 Agent 绑定一台设备"的清晰模型:每台设备由一个独立 Agent 独占,工作区、会话、渠道凭据、仪表盘互不串扰,但共享一个管理面板。
openpocket create agent review-bot --type physical-phone --device R5CX123456A
openpocket create agent ops-bot --type emulator
openpocket agents list
openpocket dashboard manager # 管理面板:总览所有 Agent
典型玩法:一台手机负责社媒运营,另一台负责客服回复,模拟器留着做测试——互不干扰、随时接管。详细隔离机制见 frontend/get-started/multi-agent.md。
六、安全设计:敏感操作如何"先问你一句"?
OpenPocket 内置 Human Auth(人工授权中继) 机制:
- 智能体在 Agent Phone 上持续自主执行;
- 遇到 OTP、付款、相机、麦克风、定位等真实敏感检查点(或被能力探针探测到硬件访问)时,发出
request_human_auth; - 网关把一次性审批链接发到你的聊天渠道,手机浏览器打开即可批准/拒绝,还可附带照片、定位、音频等"委托工件";
- 批准结果通过私有本地中继回流,智能体读取工件摘要后继续执行。
多 Agent 部署时可启动共享中继枢纽,一个 ngrok 公网入口服务所有 Agent:
openpocket human-auth-relay start
相关实现位于 src/human-auth/relay-server.ts 与 src/human-auth/bridge.ts,完整架构说明见 frontend/concepts/remote-human-authorization.md。
七、SKILL.md 技能系统:一个 Markdown 文件教会智能体新本领
不想写代码?把技能写进一个 Markdown 文件放进 skills 目录即可。仓库自带大量开箱即用的技能,例如:
- skills/uber-eats-order/SKILL.md:端到端点外卖(含付款环节自动升级人工授权)
- skills/instagram-play/SKILL.md:Instagram 自动运营
- skills/human-auth-payment/SKILL.md:支付类敏感操作规范
技能加载顺序为:仓库内置 skills/ → OPENPOCKET_HOME/skills → 工作区 workspace/skills。更妙的是自动技能引擎:任务成功跑通后,AutoArtifactBuilder 会自动沉淀出可复用的 SKILL.md(含行为指纹 + UI 轨迹)和回放脚本,经验越用越厚。技能编写与校验详见 frontend/tools/skills.md,加载器源码见 src/skills/skill-loader.ts。
八、进阶:给 Codex / Claude Code 接上手机
如果你常用 Codex 或 Claude Code,OpenPocket 提供了原生 Phone 插件:宿主加载插件后启动本地 MCP 服务,通过 ADB 直接操作 Android 手机(而不是桌面截屏模拟),内置 23 个手机操作工具(target_status、ui_snapshot、tap_text、swipe 等)。
npm run phone-use:install -- codex --target emulator
npm run phone-use:install -- claude-code --target emulator
安装完成后,在新会话里说一句 "Use OpenPocket Phone. Call target_status" 即可验证。Claude Desktop 用户则可直接上传现成的 openpocket-phone-claude.zip,无需构建。插件目录结构、桌面端安装截图教程见 plugins/openpocket-phone/README.md。
九、架构速览与核心源码地图
整体数据流:用户入口(CLI / Telegram / 仪表盘)→ 管理层(注册表 + 端口 + 目标锁)→ 各 Agent 实例(配置 + 工作区 + 状态)→ 网关 → 智能体运行时 → ADB 运行时 → 目标手机,敏感请求旁路走 私有本地中继 → 共享中继枢纽。
| 模块 | 路径 | 作用 |
|---|---|---|
| 智能体运行时 | src/agent/agent-runtime.ts | 任务主循环:截图 → 模型决策 → 执行动作 → 持久化 |
| ADB 设备执行 | src/device/adb-runtime.ts | 驱动模拟器/真机、截屏快照 |
| 技能加载 | src/skills/skill-loader.ts | 技能发现、注入、需求门控 |
| 人工授权中继 | src/human-auth/ | 审批页面渲染、工件回流 |
| 网关编排 | src/gateway/gateway-core.ts | 会话、渠道、任务队列调度 |
| MCP 服务 | src/mcp/server.ts | 23 工具 MCP 运行时(插件同源) |
| 配置示例 | openpocket.config.example.json | 模型、目标、渠道配置参考 |
深入阅读:frontend/concepts/architecture.md(完整拓扑)、frontend/reference/action-schema.md(动作模式)、frontend/ops/troubleshooting.md(排障手册)。
十、写在最后
OpenPocket 的核心魅力在于"把一部手机变成永不休眠的 AI 员工,同时把控制权牢牢留在你手里":
- 本地部署、数据不出门 🏠
- Agent Phone 与 Human Phone 严格隔离 🛡️
- 敏感操作必须人工点头 👍
- 一个
SKILL.md就能扩展新能力 🧩 - 多 Agent 并行,组建本地手机农场 📱📱📱
如果你正在找一套开源的 AI 手机自动化框架,又不想牺牲隐私和可控性,OpenPocket 值得现在就 npm install -g openpocket 跑起来,从"打开 Chrome 搜索天气"开始,逐步把它调教成你的 24 小时数字员工。





