如何让大模型『精准点到屏幕上』?SightFlow VLM 视觉定位与 0-1000 bbox 坐标系深度解析
如何让大模型『精准点到屏幕上』?SightFlow VLM 视觉定位与 0-1000 bbox 坐标系深度解析
大模型能"看懂"屏幕,却不一定能"点中"屏幕。SightFlow 是一个开源桌面 Agent 项目,它通过 VLM(视觉语言模型)视觉定位技术,让 AI 从一张截图里读出 UI 控件位置,再借助 0-1000 归一化 bbox 坐标系把位置精确换算成鼠标点击坐标,从而实现"看图 → 框选 → 点击"的纯视觉自动化。本文将用最少代码、最多图解,带你读懂这套坐标体系的完整链路。
一、为什么大模型不能直接"点击屏幕"?
先建立一个直觉:
- 文本模型只会输出文字,它不知道"按钮在 (1024, 512) 这个像素";
- **VLM(Vision-Language Model,视觉语言模型)**能"看"图,但不同分辨率、不同缩放比例下,同一位置的像素坐标完全不一样;
- 如果让模型直接报像素坐标,换一台电脑、换个窗口大小,结果就全乱了。
所以工业界普遍采用一个更聪明的办法:让模型输出"相对位置",而不是"绝对像素"。
SightFlow 正是这么做的。它把"看屏幕"和"动鼠标"拆成两层:
VLM 负责『在哪』(返回 0-1000 归一化坐标)+ 客户端负责『怎么点』(换算成真实屏幕坐标并执行点击)。
二、0-1000 bbox 坐标系:为什么是 1000?
打开视觉定位核心文件 src/core/rpa/vision-utils.ts,你会看到坐标的定义非常简洁:
BBox = [x1, y1, x2, y2],四个数字全部是 0-1000 之间的归一化值。
可以把它想象成"把整个窗口想象成一张 1000×1000 的棋盘":
| 归一化坐标 | 含义 |
|---|---|
[0, 0, 500, 1000] |
窗口的整个左半边 |
[100, 200, 300, 400] |
左上区域的一个矩形块 |
| 矩形中心点 | ((x1+x2)/2, (y1+y2)/2),即点击目标 |
为什么选 1000 这个数?
- 分辨率无关:窗口是 800×600 还是 2560×1600,归一化坐标不变;
- 精度足够:1000 格相当于 0.1% 的精度,对 UI 控件定位绰绰有余;
- 模型友好:数字短、范围固定,VLM 输出更稳定,比报"1024"这种像素值可靠得多。
模型是怎么"说出"这个坐标的?
SightFlow 通过 src/core/ai-client.ts 中的 detectVision() 方法,把截图 + 一条精心设计的 prompt一起发给 VLM。prompt 中明确要求输出格式(节选自 vision-utils.ts):
帮我框选以下三个区域,每个区域用
<bbox>x1,y1,x2,y2</bbox>格式,坐标范围 0-1000:
- 【搜索输入框】 2. 【对话窗口header区域】 3. 【聊天记录区】
于是模型可能返回类似这样的文本:
<bbox>420,60,590,110</bbox>2.<bbox>750,180,980,230</bbox>3.<bbox>750,240,980,760</bbox>
三、从 bbox 到鼠标点击:完整链路深度解析
一次"精准点击"其实要走完五步:
- 截图:捕获目标应用窗口画面(src/core/rpa/screenshot-utils.ts);
- VLM 检测:截图 + prompt 发给视觉模型,返回
<bbox>文本; - 解析坐标:正则提取 0-1000 归一化坐标;
- 坐标换算:归一化 → 窗口逻辑像素 → 屏幕绝对坐标;
- 仿人执行:鼠标按贝塞尔曲线移动过去,再模拟真人节奏点击。
3.1 解析:parseBBoxes()
模型输出是自由文本,解析要够"皮实"。vision-utils.ts 中的 parseBBoxes() 会先尝试逗号分隔格式 <bbox>120,45,340,88</bbox>,失败再尝试空格分隔,并做数值合法性校验后才入库。单点场景还有配套的 parsePoint()(vision-utils.ts)解析 <point>x,y</point>。
3.2 换算:bboxToScreenCoords() 的两步乘法
核心换算在 vision-utils.ts:
- 归一化 → 窗口内逻辑像素:
逻辑坐标 = (坐标 / 1000) × 窗口宽/高,取矩形中心作为点击点; - 逻辑像素 → 屏幕绝对坐标:加上窗口左上角位置
bounds.x / bounds.y。
这里藏着一个新手最容易踩的坑——跨平台像素差异:
| 平台 | 鼠标库使用的坐标系 | 处理方式 |
|---|---|---|
| Windows | 物理像素 | 换算后还需乘以缩放系数 scaleFactor |
| macOS | 逻辑像素 | 直接用逻辑坐标即可 |
源码中这段判断就是为此而写:if (IS_WINDOWS) 时乘上 scaleFactor,否则直接相加。如果你在高缩放屏幕(如 150% 缩放)上点击总是"偏一点",十有八九就是少了这一步。
3.3 执行:仿人化点击
坐标到手后,SightFlow 并不会"瞬移 + 单击"这种一看就是机器人的操作。src/core/rpa/input-utils.ts 里的 humanLikeMove() 会:
- 用贝塞尔曲线生成弧形轨迹,分 5~15 步移动;
- 每步加入 ±1 像素随机抖动;
- 末端做"减速"缓动,模拟人类微停顿。
配合 humanLikeClick() 的随机按压时长(120~220ms),整段操作在行为层面几乎与真人无异。
四、实战案例:红点"两步走"定位法
以"检测微信未读红点"为例(src/core/rpa/has-unread.ts),可以看到 0-1000 坐标系如何被组合出精巧的策略:
- Step 1 粗检测:VLM 先框出【聊天入口按钮区域】的 bbox → 换算成 crop 区域做局部截图 → 像素级扫描红色占比,>1% 即判定"有未读";
- Step 2 细检测:VLM 再框出【联系人列表第一行】的头像 bbox → 正方形裁剪 → 红点占比 >4% 才确认;
- 边缘分析兜底:若红点像素触碰裁剪边缘,说明框可能切到了红点,系统会自动向外扩展 10% 重试(最多 2 次),见 has-unread.ts。
这套"VLM 粗定位 + 像素精检测"的组合拳,比纯靠模型判断红点更稳、更快、更省钱——模型只负责找大概位置,精确判断交给廉价的像素扫描。
五、精度保障:缓存、反推与抖动
真正生产环境里,SightFlow 还有三层"保险"让点击持续精准:
1. 布局缓存(Layout Cache)
vision-utils.ts 把检测过的区域(搜索框、header、聊天区等)缓存在内存 LayoutCache 中。窗口没动就不重复调 VLM,既省 token 又保证同一会话内坐标一致。
2. 反推输入框,零额外调用
输入框区域甚至不需要模型检测——系统直接利用"聊天记录区底边就是输入框顶边"的布局常识,从 chatMainArea 反推出输入框 bbox:<a href="https://link.gitcode.com/i/d807e62fab906c2ca934b333c712d3bb" target="_blank">x1, y2, x2, 1000],见 [getInputAreaFromCache()。这是 0-1000 坐标系"可计算性"的绝佳体现:归一化坐标可以像几何一样做推导。
3. 微抖动防"点击过于机械" sendReplyAction() 在最终坐标上叠加 ±5px 随机偏移,避免每次点击都落在同一个精确像素上。
六、想自己上手?三步跑通 VLM 定位
git clone https://gitcode.com/gh_mirrors/si/sightflow-desktop-agent
cd sightflow-desktop-agent
npm install && npm run dev
- 首次启动选择目标应用,完成区域选择(微信/企微默认 VLM 自动检测,其他应用手动框选);
- 打开设置,填入 API Key(ai-client.ts 默认使用 doubao-seed 系列 VLM);
- 运行后每次布局检测的 bbox 原文都会打印在日志里(
[VisionUtils] VLM 返回:...),对照本文链路即可完整复现"截图 → 框选 → 换算 → 点击"全过程。
调试脚本可直接看 test-vlm-parallel.ts,它对 detectUnreadArea 单独计时,非常适合观察 VLM 响应耗时。更多架构细节可阅读 README.zh-CN.md。
写在最后
"让大模型点到屏幕上"听起来像魔法,拆开看其实是两个朴素问题的工程化:
- 怎么让模型报出稳定的位置? → 0-1000 归一化 bbox,分辨率无关、格式固定、可正则解析;
- 怎么把位置变成真实动作? → 窗口 bounds + 平台缩放系数两步换算,再叠加仿人化轨迹。
SightFlow 用这套坐标系,把"视觉理解"和"物理操作"解耦成可替换的两层——换屏幕、换应用、甚至换 VLM 供应商,链路都依然成立。这就是纯视觉 RPA 相比写死坐标的传统自动化,最根本的进步。

