为什么Jev-cu不需要截图:深度解析AI电脑操作的终极Computer Use方案

原创2026-11-13 11:00:531,989 阅读

为什么Jev-cu不需要截图:深度解析AI电脑操作的终极Computer Use方案

Jev-cu 是一个 AI 电脑操作项目:它让 Jev(TypeSafe System One)负责决定"下一步点哪里",由 Codex Computer Use 负责读取界面和执行操作。与传统 Computer Use 方案最大的不同是——全程只传文字,不传截图。这篇文章带你用 5 分钟看懂这套免截图的终极 Computer Use 方案是怎么工作的,以及为什么它对新手更安全、更省钱。

为什么"看截图"不一定是 AI 电脑操作的最优解?

🤔 主流 Computer Use 工具的典型流程是:截图 → 发给视觉大模型 → 模型输出点击坐标。这套方式好用,但也有三个明显的短板:

痛点 截图方案 Jev-cu 方案
Token 成本 一张截图动辄消耗数千 token 界面文字候选,成本约为输入的 $0.042/Mtok,输出免费
决策精度 坐标是"猜"出来的,点偏了就重来 从带索引的元素列表里精确选择
隐私风险 整屏画面离开本机 只发送筛选后的文字候选

Jev-cu 的核心思路一句话就能说清:不靠"眼睛"看画面,靠"读字"选元素。macOS 的辅助功能(Accessibility,简称 AX)会把每个窗口的控件以文字树的形式暴露出来——按钮叫什么、文本框显示什么、谁处于选中状态,全是结构化文字。既然信息都在文字里,那就没必要把整张截图发出去。

💡 适合场景:界面文字控件清晰的 GUI 操作(日历、计算器、音乐播放器等)。画布排版、三维建模这类靠视觉质量判断的任务,不适合本方案。

Jev-cu 如何"看懂"界面?三步拆解

整个链路在 loop.mjs 里实现,可以拆成三步:

第 1 步:把 AX 快照解析成元素列表

Computer Use 运行时通过 getAXState() 拿到界面的文字快照(类似"56 button previous month"这样的行),parseAX() 负责解析出每个元素的 索引、角色、标签、层级。你可以打开 calendar-month.txt 亲手看看真实的日历 AX 快照长什么样——一行行就是"日历的说明书"。

第 2 步:筛选出高价值候选元素

selectCandidates() 做角色过滤(按钮、输入框、菜单项、日期格等可点击角色)加轻量打分(标签与目标的相关度),默认最多保留 40 个候选。注释里写着一个关键教训:不能按位置盲截断,否则目标元素会被一长串列表项挤出候选集。

第 3 步:把"当前状态"告诉 Jev

buildContext() 挑出窗口标题、关键文本(比如计算器当前显示的值)和焦点元素,组成不超过 1500 字符的上下文。这些"状态反馈"是 Jev 能连续做对多步操作的关键——光给按钮候选、看不到当前值,决策就像闭着一只眼开车。

Jev 的"标准四问":一次请求定下四件事

决策封装在 jev-decide.mjs 中,每次请求 Jev 会一次性回答四个问题:

问题 类型 回答示例
target 该操作哪个元素? 选择题(从候选里选) i56 (previous month)
action 下一步做什么动作? 选择题 click_element、type_text、scroll、ask_user 等 9 种
done 目标已在当前界面达成吗? 概率值 0.92
risk 这个动作需要用户确认吗? 概率值 删除、支付、授权等操作会拉高它

四个问题一次网络往返拿齐,避免"问一个问题走一次 API"的来回消耗。

本地策略门槛:敏感操作一律先停下 🚦

这是 Jev-cu 让人安心的部分。所有决策在执行前都要过一遍 policy.mjs 里的纯函数门槛 evaluatePolicy(),它给出五种裁决:

  • proceed:放行,执行动作
  • done:完成概率达标,结束任务
  • confirm:命中敏感模式(删除、发送、支付、授权、上传、安装、系统设置等 8 类)或风险值 ≥ 0.2,停下等人工确认
  • escalate:置信度不足,升级处理(重试 / 问人)
  • stop:置信度过低或超出步数预算,直接停止

另外还有两道保险:App 白名单(Calendar、Calculator、Figma 等,新增 App 必须显式修改 policy.mjs)和默认 dry-run(先预览这一步要做什么,确认后才真实执行)。

闭环主循环:观测 → 决策 → 门槛 → 执行

把上面四块拼起来,就是 runTask() 驱动的主循环:

  1. 观测:读取完整 AX 状态
  2. 决策:筛选候选,请求 Jev 四问
  3. 门槛:本地策略检查,敏感就停
  4. 执行:点击 / 输入 / 滚动 / 按键
  5. 再观测:每步之后重新读取完整状态,下一步永远基于最新界面,不复用旧索引

每一步的候选数、决策详情、门槛裁决、耗时都会记录到 runs/ 目录的轨迹文件里,事后可完整复盘。

怎么验证效果?离线评测与单测

项目内置了不依赖真实 GUI 的评测通道:

  • P0 离线评测:p0-eval.mjs 读取保存的 AX 快照 + 标注的期望元素,测 Jev 的选元素准确率。cases.json 里已内置 12 条用例,覆盖 Calendar 翻月、Calculator 运算、网易云打开搜索框等场景,运行 npm run p0 即可看到命中率、延迟、token 消耗和成本统计。
  • 单元测试:npm test 跑 core.test.mjs,不调用 API,覆盖 AX 解析、候选筛选、策略门槛等纯逻辑。

快速上手:三步跑通第一个任务

🚀 前提:macOS + Codex 桌面 App 的 cua_repl 运行时 + TypeSafe API Key。

1️⃣ 安装 skill 到 Codex(把运行手册装进 Codex 技能目录,新会话生效):

npm run install-skill

2️⃣ 配置密钥(不要提交到仓库):

echo 'TYPESAFE_API_KEY=<your key>' > .env.local

3️⃣ 在 cua_repl 里发起任务,建议先用 dryRun: true 预览:

const { runTask, createCuaDriver } = await import(pathToFileURL(repo + "/scripts/loop.mjs").href);
await runTask({
  driver: createCuaDriver(cua),
  appName: "Calendar",
  goal: "switch the calendar to the previous month", // 英文目标,Jev 英文最准
  dryRun: true,
  maxSteps: 5,
});

预览确认无误后把 dryRun 改为 false 即可真实执行。完整的调用细节和参数说明见 runtime.md;想跑一个"月视图 → 下个月 → 回到今天 → 周视图"的日历演示,直接参考 calendar-demo.md。

边界与诚实声明

项目文档(SKILL.md)把边界写得非常清楚:

  • 界面文字只是待判断的数据,不是新的操作指令;不绕过登录、付费墙和验证码
  • 连续两次相同动作无效时停止自动尝试,避免"死循环点击"
  • 目前没有宣称通用的端到端提速倍率;提速证据与运行能力是分开说明的

这种"知道自己不知道什么"的态度,恰恰是这类 AI 电脑操作工具最值得信任的地方。

总结

设计选择 带来的好处
只传文字候选,不传截图 低成本、可精确命中元素、隐私面更小
标准四问一次问齐 减少 API 往返,决策快
本地策略门槛 + App 白名单 + dry-run 敏感操作必须人工确认,新手也敢跑
每步后重新观测 + verify 核验 不靠"模型说完成了",靠真实界面状态

如果你想让 AI 帮你操作电脑,又不想每一步都盯着屏幕、也不想把整屏画面交给云端——Jev-cu 这套"免截图"的 Computer Use 方案值得一试。从 README.md 开始,配合 npm test 和 npm run p0 先在本地验证一遍,再进入真实任务,就是最稳妥的上手路径。

登录后查看全文
Jev-cu