AI手机自动化框架OpenPocket入门:让手机24小时为你打工,一文看懂这个永不休眠的智能体

原创2026-10-25 20:25:301,698 阅读

AI手机自动化框架OpenPocket入门:让手机24小时为你打工,一文看懂这个永不休眠的智能体

OpenPocket 是一个开源的 AI 手机自动化框架:它让 AI 智能体(Agent)在你自己的电脑上,通过 ADB 接管一部本地 Android 手机(模拟器或真机),像真人一样点击、滑动、打字、切换 App——回消息、付款、刷游戏、发社交动态,全程本地运行、数据不出机器。你只需要用一句自然语言下达任务,它就 24 小时替你"打工"。

OpenPocket AI手机自动化多场景使用示意

图示:将 OpenPocket Phone 插件安装进 Codex Desktop 后的界面,AI 编程工具从此可以直接操作 Android 手机。

一、OpenPocket 是什么?3 个关键词看懂

1️⃣ 本地优先(Local-first)

所有自动化都在你自己的机器上执行:设备控制、会话记录、截图、审批中继全部本地存储,可审计、不依赖云手机服务。隐私数据(账号、凭据、运行状态)永远留在你自己的环境中。

2️⃣ 双手机隔离模型(Human Phone vs Agent Phone)

  • Agent Phone:被 AI 控制的执行目标(模拟器或连接的手机),是一个干净的运行时环境;
  • Human Phone:你真正的个人手机,只用于敏感操作时远程审批,与自动化运行环境完全隔离。

3️⃣ 人机协同(Human-in-the-Loop)

碰到验证码、付款、摄像头、OAuth 登录等真实世界敏感环节时,智能体不会硬闯,而是通过本地私有中继把一次性审批链接推送到你的手机浏览器——你点头,它才继续。

📖 更多产品理念可参考 frontend/concepts/project-blueprint.md。

二、核心能力一览:6 大特性让手机真的"永不休眠"

能力 说明
🧠 多模型支持 OpenAI GPT-5.x、Claude、Gemini、DeepSeek、Qwen、GLM、Kimi、MiniMax、豆包等随意切换
📱 多智能体 一次安装运行多个完全隔离的 Agent,各自绑定一台设备,组建本地"手机农场"
⏰ 定时任务 用自然语言创建 cron 任务,如"每天 8 点打开 Slack 打卡"
🛡️ 人工授权中继 敏感操作(付款、定位、相机)升级为你本人审批,支持 ngrok 可选公网入口
💬 多渠道接入 通过 Telegram、Discord、WhatsApp、Slack、iMessage 或 CLI 下发任务和接收结果
🧩 技能扩展 往 skills 目录丢一个 SKILL.md 文件即可教会智能体新流程,无需改代码

OpenPocket AI手机自动化购物自动化场景

OpenPocket AI手机自动化社交消息自动处理场景

OpenPocket AI手机自动化娱乐内容自动刷选场景

OpenPocket AI手机自动化更多日常办公场景

三、5 分钟快速上手:最快本地部署步骤

前置条件

  • Node.js 20+
  • Android platform-tools(adb)
  • 你选用的模型 API Key
  • 目标设备:Android 模拟器(默认,推荐新手)或开启 USB/无线调试的真机(不需要 root)

安装与初始化(npm 方式,推荐)

npm install -g openpocket
openpocket onboard

首次 onboard 会自动创建默认 Agent 的配置文件 config.json、工作区 workspace/(含身份模板 BOOTSTRAP.md、IDENTITY.md、MEMORY.md 等)和运行状态目录 state/。

跑一个一次性任务

openpocket agent --model gpt-5.2-codex "打开 Chrome 搜索天气"

执行结果包含:任务摘要、会话文件路径(workspace/sessions/session-*.md)和当天记忆追加(workspace/memory/YYYY-MM-DD.md)——每一步都可回看、可审计。

启动常驻网关

openpocket gateway start

之后就能通过你配置好的聊天渠道随时派活了。完整的环境变量与命令自检流程见 frontend/get-started/quickstart.md,设备目标的详细配置(模拟器 / 真机配对 / 无线 ADB)见 frontend/get-started/device-targets.md。

四、3 种方式给手机派活

方式 1:CLI 单发 —— 适合脚本化和一次性任务(见上文 openpocket agent)。

方式 2:聊天网关 —— gateway start 后,在 Telegram/Discord/WhatsApp 里直接发文字,智能体自动区分"闲聊"与"任务"并路由执行,支持 /context、/auth 等调试命令。

方式 3:定时任务(Cron) —— 这是"24 小时打工"的关键。自然语言描述即可持久化调度,任务运行在隔离的 cron:<jobId> 会话里:

openpocket cron add --id daily-slack-checkin \
  --name "Daily Slack Check-in" \
  --cron "0 8 * * *" --tz Asia/Shanghai \
  --task "打开 Slack 并完成打卡" \
  --channel telegram --to 12345

五、多智能体:一台电脑 + N 台手机的"本地手机农场"

OpenPocket 采用"一个 Agent 绑定一台设备"的清晰模型:每台设备由一个独立 Agent 独占,工作区、会话、渠道凭据、仪表盘互不串扰,但共享一个管理面板。

openpocket create agent review-bot --type physical-phone --device R5CX123456A
openpocket create agent ops-bot --type emulator
openpocket agents list
openpocket dashboard manager     # 管理面板:总览所有 Agent

典型玩法:一台手机负责社媒运营,另一台负责客服回复,模拟器留着做测试——互不干扰、随时接管。详细隔离机制见 frontend/get-started/multi-agent.md。

六、安全设计:敏感操作如何"先问你一句"?

OpenPocket 内置 Human Auth(人工授权中继) 机制:

  1. 智能体在 Agent Phone 上持续自主执行;
  2. 遇到 OTP、付款、相机、麦克风、定位等真实敏感检查点(或被能力探针探测到硬件访问)时,发出 request_human_auth;
  3. 网关把一次性审批链接发到你的聊天渠道,手机浏览器打开即可批准/拒绝,还可附带照片、定位、音频等"委托工件";
  4. 批准结果通过私有本地中继回流,智能体读取工件摘要后继续执行。

多 Agent 部署时可启动共享中继枢纽,一个 ngrok 公网入口服务所有 Agent:

openpocket human-auth-relay start

相关实现位于 src/human-auth/relay-server.ts 与 src/human-auth/bridge.ts,完整架构说明见 frontend/concepts/remote-human-authorization.md。

七、SKILL.md 技能系统:一个 Markdown 文件教会智能体新本领

不想写代码?把技能写进一个 Markdown 文件放进 skills 目录即可。仓库自带大量开箱即用的技能,例如:

技能加载顺序为:仓库内置 skills/ → OPENPOCKET_HOME/skills → 工作区 workspace/skills。更妙的是自动技能引擎:任务成功跑通后,AutoArtifactBuilder 会自动沉淀出可复用的 SKILL.md(含行为指纹 + UI 轨迹)和回放脚本,经验越用越厚。技能编写与校验详见 frontend/tools/skills.md,加载器源码见 src/skills/skill-loader.ts。

八、进阶:给 Codex / Claude Code 接上手机

如果你常用 Codex 或 Claude Code,OpenPocket 提供了原生 Phone 插件:宿主加载插件后启动本地 MCP 服务,通过 ADB 直接操作 Android 手机(而不是桌面截屏模拟),内置 23 个手机操作工具(target_status、ui_snapshot、tap_text、swipe 等)。

npm run phone-use:install -- codex --target emulator
npm run phone-use:install -- claude-code --target emulator

安装完成后,在新会话里说一句 "Use OpenPocket Phone. Call target_status" 即可验证。Claude Desktop 用户则可直接上传现成的 openpocket-phone-claude.zip,无需构建。插件目录结构、桌面端安装截图教程见 plugins/openpocket-phone/README.md。

Claude Desktop 中安装 OpenPocket Phone 插件的界面

九、架构速览与核心源码地图

整体数据流:用户入口(CLI / Telegram / 仪表盘)→ 管理层(注册表 + 端口 + 目标锁)→ 各 Agent 实例(配置 + 工作区 + 状态)→ 网关 → 智能体运行时 → ADB 运行时 → 目标手机,敏感请求旁路走 私有本地中继 → 共享中继枢纽。

模块 路径 作用
智能体运行时 src/agent/agent-runtime.ts 任务主循环:截图 → 模型决策 → 执行动作 → 持久化
ADB 设备执行 src/device/adb-runtime.ts 驱动模拟器/真机、截屏快照
技能加载 src/skills/skill-loader.ts 技能发现、注入、需求门控
人工授权中继 src/human-auth/ 审批页面渲染、工件回流
网关编排 src/gateway/gateway-core.ts 会话、渠道、任务队列调度
MCP 服务 src/mcp/server.ts 23 工具 MCP 运行时(插件同源)
配置示例 openpocket.config.example.json 模型、目标、渠道配置参考

深入阅读:frontend/concepts/architecture.md(完整拓扑)、frontend/reference/action-schema.md(动作模式)、frontend/ops/troubleshooting.md(排障手册)。

十、写在最后

OpenPocket 的核心魅力在于"把一部手机变成永不休眠的 AI 员工,同时把控制权牢牢留在你手里":

  • 本地部署、数据不出门 🏠
  • Agent Phone 与 Human Phone 严格隔离 🛡️
  • 敏感操作必须人工点头 👍
  • 一个 SKILL.md 就能扩展新能力 🧩
  • 多 Agent 并行,组建本地手机农场 📱📱📱

如果你正在找一套开源的 AI 手机自动化框架,又不想牺牲隐私和可控性,OpenPocket 值得现在就 npm install -g openpocket 跑起来,从"打开 Chrome 搜索天气"开始,逐步把它调教成你的 24 小时数字员工。

登录后查看全文
openpocket