如何让大模型『精准点到屏幕上』?SightFlow VLM 视觉定位与 0-1000 bbox 坐标系深度解析

原创2026-11-01 21:38:131,958 阅读

如何让大模型『精准点到屏幕上』?SightFlow VLM 视觉定位与 0-1000 bbox 坐标系深度解析

大模型能"看懂"屏幕,却不一定能"点中"屏幕。SightFlow 是一个开源桌面 Agent 项目,它通过 VLM(视觉语言模型)视觉定位技术,让 AI 从一张截图里读出 UI 控件位置,再借助 0-1000 归一化 bbox 坐标系把位置精确换算成鼠标点击坐标,从而实现"看图 → 框选 → 点击"的纯视觉自动化。本文将用最少代码、最多图解,带你读懂这套坐标体系的完整链路。

一、为什么大模型不能直接"点击屏幕"?

先建立一个直觉:

  • 文本模型只会输出文字,它不知道"按钮在 (1024, 512) 这个像素";
  • **VLM(Vision-Language Model,视觉语言模型)**能"看"图,但不同分辨率、不同缩放比例下,同一位置的像素坐标完全不一样;
  • 如果让模型直接报像素坐标,换一台电脑、换个窗口大小,结果就全乱了。

所以工业界普遍采用一个更聪明的办法:让模型输出"相对位置",而不是"绝对像素"。

SightFlow 桌面 Agent 主界面:选择目标应用并启动自动回复

SightFlow 正是这么做的。它把"看屏幕"和"动鼠标"拆成两层:

VLM 负责『在哪』(返回 0-1000 归一化坐标)+ 客户端负责『怎么点』(换算成真实屏幕坐标并执行点击)。

二、0-1000 bbox 坐标系:为什么是 1000?

打开视觉定位核心文件 src/core/rpa/vision-utils.ts,你会看到坐标的定义非常简洁:

BBox = [x1, y1, x2, y2],四个数字全部是 0-1000 之间的归一化值。

可以把它想象成"把整个窗口想象成一张 1000×1000 的棋盘":

归一化坐标 含义
[0, 0, 500, 1000] 窗口的整个左半边
[100, 200, 300, 400] 左上区域的一个矩形块
矩形中心点 ((x1+x2)/2, (y1+y2)/2),即点击目标

为什么选 1000 这个数?

  1. 分辨率无关:窗口是 800×600 还是 2560×1600,归一化坐标不变;
  2. 精度足够:1000 格相当于 0.1% 的精度,对 UI 控件定位绰绰有余;
  3. 模型友好:数字短、范围固定,VLM 输出更稳定,比报"1024"这种像素值可靠得多。

模型是怎么"说出"这个坐标的?

SightFlow 通过 src/core/ai-client.ts 中的 detectVision() 方法,把截图 + 一条精心设计的 prompt一起发给 VLM。prompt 中明确要求输出格式(节选自 vision-utils.ts):

帮我框选以下三个区域,每个区域用 <bbox>x1,y1,x2,y2</bbox> 格式,坐标范围 0-1000:

  1. 【搜索输入框】 2. 【对话窗口header区域】 3. 【聊天记录区】

于是模型可能返回类似这样的文本:

  1. <bbox>420,60,590,110</bbox> 2. <bbox>750,180,980,230</bbox> 3. <bbox>750,240,980,760</bbox>

SightFlow Agent / Provider 配置界面:在这里填入驱动 VLM 视觉定位的 API Key

三、从 bbox 到鼠标点击:完整链路深度解析

一次"精准点击"其实要走完五步:

  1. 截图:捕获目标应用窗口画面(src/core/rpa/screenshot-utils.ts);
  2. VLM 检测:截图 + prompt 发给视觉模型,返回 <bbox> 文本;
  3. 解析坐标:正则提取 0-1000 归一化坐标;
  4. 坐标换算:归一化 → 窗口逻辑像素 → 屏幕绝对坐标;
  5. 仿人执行:鼠标按贝塞尔曲线移动过去,再模拟真人节奏点击。

3.1 解析:parseBBoxes()

模型输出是自由文本,解析要够"皮实"。vision-utils.ts 中的 parseBBoxes() 会先尝试逗号分隔格式 <bbox>120,45,340,88</bbox>,失败再尝试空格分隔,并做数值合法性校验后才入库。单点场景还有配套的 parsePoint()(vision-utils.ts)解析 <point>x,y</point>。

3.2 换算:bboxToScreenCoords() 的两步乘法

核心换算在 vision-utils.ts:

  1. 归一化 → 窗口内逻辑像素:逻辑坐标 = (坐标 / 1000) × 窗口宽/高,取矩形中心作为点击点;
  2. 逻辑像素 → 屏幕绝对坐标:加上窗口左上角位置 bounds.x / bounds.y。

这里藏着一个新手最容易踩的坑——跨平台像素差异:

平台 鼠标库使用的坐标系 处理方式
Windows 物理像素 换算后还需乘以缩放系数 scaleFactor
macOS 逻辑像素 直接用逻辑坐标即可

源码中这段判断就是为此而写:if (IS_WINDOWS) 时乘上 scaleFactor,否则直接相加。如果你在高缩放屏幕(如 150% 缩放)上点击总是"偏一点",十有八九就是少了这一步。

3.3 执行:仿人化点击

坐标到手后,SightFlow 并不会"瞬移 + 单击"这种一看就是机器人的操作。src/core/rpa/input-utils.ts 里的 humanLikeMove() 会:

  • 用贝塞尔曲线生成弧形轨迹,分 5~15 步移动;
  • 每步加入 ±1 像素随机抖动;
  • 末端做"减速"缓动,模拟人类微停顿。

配合 humanLikeClick() 的随机按压时长(120~220ms),整段操作在行为层面几乎与真人无异。

四、实战案例:红点"两步走"定位法

以"检测微信未读红点"为例(src/core/rpa/has-unread.ts),可以看到 0-1000 坐标系如何被组合出精巧的策略:

  • Step 1 粗检测:VLM 先框出【聊天入口按钮区域】的 bbox → 换算成 crop 区域做局部截图 → 像素级扫描红色占比,>1% 即判定"有未读";
  • Step 2 细检测:VLM 再框出【联系人列表第一行】的头像 bbox → 正方形裁剪 → 红点占比 >4% 才确认;
  • 边缘分析兜底:若红点像素触碰裁剪边缘,说明框可能切到了红点,系统会自动向外扩展 10% 重试(最多 2 次),见 has-unread.ts。

这套"VLM 粗定位 + 像素精检测"的组合拳,比纯靠模型判断红点更稳、更快、更省钱——模型只负责找大概位置,精确判断交给廉价的像素扫描。

五、精度保障:缓存、反推与抖动

真正生产环境里,SightFlow 还有三层"保险"让点击持续精准:

1. 布局缓存(Layout Cache) vision-utils.ts 把检测过的区域(搜索框、header、聊天区等)缓存在内存 LayoutCache 中。窗口没动就不重复调 VLM,既省 token 又保证同一会话内坐标一致。

2. 反推输入框,零额外调用 输入框区域甚至不需要模型检测——系统直接利用"聊天记录区底边就是输入框顶边"的布局常识,从 chatMainArea 反推出输入框 bbox:<a href="https://link.gitcode.com/i/d807e62fab906c2ca934b333c712d3bb" target="_blank">x1, y2, x2, 1000],见 [getInputAreaFromCache()。这是 0-1000 坐标系"可计算性"的绝佳体现:归一化坐标可以像几何一样做推导。

3. 微抖动防"点击过于机械" sendReplyAction() 在最终坐标上叠加 ±5px 随机偏移,避免每次点击都落在同一个精确像素上。

六、想自己上手?三步跑通 VLM 定位

git clone https://gitcode.com/gh_mirrors/si/sightflow-desktop-agent
cd sightflow-desktop-agent
npm install && npm run dev
  1. 首次启动选择目标应用,完成区域选择(微信/企微默认 VLM 自动检测,其他应用手动框选);
  2. 打开设置,填入 API Key(ai-client.ts 默认使用 doubao-seed 系列 VLM);
  3. 运行后每次布局检测的 bbox 原文都会打印在日志里([VisionUtils] VLM 返回:...),对照本文链路即可完整复现"截图 → 框选 → 换算 → 点击"全过程。

调试脚本可直接看 test-vlm-parallel.ts,它对 detectUnreadArea 单独计时,非常适合观察 VLM 响应耗时。更多架构细节可阅读 README.zh-CN.md。

写在最后

"让大模型点到屏幕上"听起来像魔法,拆开看其实是两个朴素问题的工程化:

  • 怎么让模型报出稳定的位置? → 0-1000 归一化 bbox,分辨率无关、格式固定、可正则解析;
  • 怎么把位置变成真实动作? → 窗口 bounds + 平台缩放系数两步换算,再叠加仿人化轨迹。

SightFlow 用这套坐标系,把"视觉理解"和"物理操作"解耦成可替换的两层——换屏幕、换应用、甚至换 VLM 供应商,链路都依然成立。这就是纯视觉 RPA 相比写死坐标的传统自动化,最根本的进步。

登录后查看全文
sightflow-desktop-agent