为什么typesafe-computer-use拒绝每步都用大模型?成本与延迟的终极对比
为什么typesafe-computer-use拒绝每步都用大模型?成本与延迟的终极对比
typesafe-computer-use 是一个每步成本不到半美分的 computer use(计算机使用)智能体:它用代码确定性地 OCR 屏幕,让一个小型分类模型(TypeSafe)选出下一个动作,然后直接点击——每步约 $0.0002,而前沿大模型方案每步要 $0.03 起步、还要等上几秒。为什么它拒绝"每一步都问大模型"?答案藏在成本、延迟和一次实测对比里。
大模型做 computer use,贵在哪?
前沿模型驱动的桌面智能体能力很强,但每一步都在做同样的事:把整张截图发出去,等上数秒,换一个完整计划。而现实中,绝大多数步骤根本不需要计划——它们只需要从一个短列表里快速、便宜地选出一个动作,并且给出一个可校验的置信度数字。
这就是"每步都调大模型"的两个硬伤:
- 💸 成本:截图 + 历史对话每次都在消耗 token,循环越深越贵;
- ⏱️ 延迟:模型每步要 5 秒左右,整个任务就被拉长成倍。
三层分工:分类器选、代码算、写作者写
typesafe-computer-use 的核心设计是一句话:分类器挑选,代码决定事实,写作者只写自由文本。它把"智能"拆成了三层,大模型只出现在真正需要它的地方:
- 感知层(纯代码):屏幕被确定性地读取——对最前窗口做裁剪 OCR,再遍历 accessibility 树拿到图标等 OCR 看不见的控件,两者合并成一份带来源的候选项列表;
- 决策层(小模型):一次 TypeSafe 请求回答三个
Choice——哪种动作、哪个项目、哪个网站。几百毫秒内返回带概率分布和校准置信度的答案; - 写作层(大模型):只有当输入框确实需要自由文本、或分类器停下来需要"读懂"屏幕时,才调用 writer 模型。它永远不选动作,只负责填字、提议 URL 和最终作答。
一次真实运行的收尾统计长这样(来自 docs/how-a-step-works.md):
calls: classifier 14 (82%, 3.9s) writer 3 (18%, 21.4s)
大模型只占 18% 的请求,却贡献了绝大部分"思考"时间——这正说明把高频决策交给小模型有多关键。每一步的完整拆解见 docs/how-a-step-works.md,各模块职责见 docs/layout.md。
成本与延迟终极对比:155x 到 390x
项目在同一张截图、同一个目标下做了一次实测:一次决策、各算各的账(数据见 README.md):
| 指标 | typesafe (jev) | 大模型裸截图方案 | 差距 |
|---|---|---|---|
| 每次决策成本 | $0.0002 | $0.032 | 155x 更便宜 |
| 带历史的真实循环 | $0.0002/次 | $0.035–$0.08/次 | 170x–390x |
| 12 步任务总成本 | $0.003 | $0.40–$0.90 | 130x–300x |
| 模型延迟 | 0.13–0.38 s | 5.2 s | 14x–40x 更快 |
| 端到端单步(含截图+OCR) | 约 1.5 s | 约 5.5 s | 3.7x 更快 |
注意两边的输入 token 几乎一样多(4,882 vs 4,785)——差距不在"看到多少",而在用多大的模型看。每步的耗时还可以拆到阶段级,例如 timing: ocr 0.31s ... decide 0.21s act 0.05s total 0.95s(见 docs/run-folder.md),慢在哪一眼可见。
项目还把它放进 OSWorld 基准里,和 OSWorld 官方 GPT agent 同任务同环境对跑,运行记录提交在 benchmarks/osworld/,环境搭建见 docs/osworld.md。
便宜是有代价的:被拆掉的部分要用代码重建
作者对此非常坦诚:大模型是"免费"地从像素里读出活动日期、比较出大小的;而分类器需要 typesafe_computer_use/dates.py 这样的确定性代码把日期解析成 dated 2026-10-13 (in 27 days) 再交给它。前沿模型白送的一切推理,都得在这里重建为状态——比如聚焦的输入框是哪个、URL 是否干净、同一屏上已经试过哪些动作(typesafe_computer_use/decide.py 组装状态,typesafe_computer_use/runner.py 跑步骤循环与停止规则)。
这也解释了一个有趣的边界:当目标里有两个都合理的走法、分类器分裂出低置信度时,writer 会给出一个"focus"(屏幕上的一步指引)把任务交回分类器继续,而不是自己点鼠标——所有动作永远是小模型的(docs/how-a-step-works.md 的 "The hand-off" 一节)。
如何上手体验
需要 macOS 14+、Python 3.12+ 和 uv:
git clone https://gitcode.com/gh_mirrors/ty/typesafe-computer-use
cd typesafe-computer-use
uv sync
cp .env.example .env # 填入 TYPESAFE_API_KEY 等
先跑 dry run 看看它"打算"做什么,再加 --act 真正驱动鼠标键盘:
uv run clicker "open the Playground" # dry run:打印将执行的动作
uv run clicker "open the Playground" --act # 实际执行
每次运行都会写入 runs/<timestamp>/ 目录,包含标注截图、发送给模型的完整 payload 和每步耗时,卡住的步骤可以离线重放——这是排查成本/延迟问题的天然工具。
小结 🎯
typesafe-computer-use 给出的答案可以浓缩成三句话:
- 绝大多数步骤不需要计划,只需要一个可快速判定的选择;
- 把决策压到最小分类问题,成本能降 2–3 个数量级,延迟降一个数量级;
- 大模型只留给真正需要"写"和"读"的时刻,并永远不让它选动作。
如果你在构建桌面自动化或 computer use 智能体,这套"小模型决策 + 代码算事实 + 大模型兜底写作"的分层架构,值得一看它的源码和基准记录。
