揭秘ScaleCUA的SOTA密码:双循环交互数据流水线与6操作系统跨平台数据集全解读
揭秘ScaleCUA的SOTA密码:双循环交互数据流水线与6操作系统跨平台数据集全解读
ScaleCUA 是一款开源的 7B 电脑操作智能体(Computer Use Agent)模型,由 OpenGVLab 团队基于 Qwen2.5-VL-7B-Instruct 构建。它的"聪明"密码并不只藏在算法里,更藏在一套 双循环交互数据流水线(自动智能体 + 人类专家协作采集)和一个覆盖 6 种操作系统、3 大任务领域 的跨平台数据集之中。本文将带你从数据、模型到实战,一次看懂这个 SOTA 级 GUI 智能体。
ScaleCUA 是什么?30秒建立认知
一句话概括:你给它一张屏幕截图和一句任务描述,它就能像人一样看屏幕、想步骤、动手操作。
与传统只懂网页或只懂单一系统的 Agent 不同,ScaleCUA 原生支持跨平台操作——桌面、移动端、浏览器都能上手。其核心技术贡献可归纳为两点:
- 🧠 数据驱动的规模效应:通过双循环交互数据流水线(dual-loop interactive pipeline)大规模构建高质量交互数据
- 🌍 跨平台通用性:数据集横跨 6 个操作系统、3 个任务领域,让模型在异构平台间无缝迁移
这套模型、数据与代码均已开源,项目介绍详见 README.md。
SOTA 的密码①:双循环交互数据流水线
很多 GUI 智能体的"天花板"不在模型,而在数据。现有开源数据集要么规模小、要么平台单一,而 ScaleCUA 的答案是一条"双循环"数据流水线:
- 自动智能体循环:让 Agent 自主执行任务,批量产生真实交互轨迹(截图 + 操作 + 反馈),快速扩展数据规模
- 人类专家循环:由领域专家审核、修正与补充轨迹,保证动作的准确性与任务的多样性
两个循环相互咬合——自动智能体负责"量",人类专家负责"质",最终产出一个大规模、多样化的高质量语料库。正是这套 data-centric(数据为中心)的方法论,让 GUI 理解、元素定位(grounding)与跨平台任务完成能力同步提升。
SOTA 的密码②:6操作系统跨平台数据集全解读
配套数据集 ScaleCUA-Data 是整个项目的另一块基石,其覆盖范围可以概括为两个数字:
| 维度 | 覆盖范围 | 说明 |
|---|---|---|
| 🖥️ 操作系统 | 6 种 OS | 横跨桌面、移动等不同平台生态 |
| 📂 任务领域 | 3 大领域 | 桌面应用、移动设备、Web 浏览器 |
对新手来说,这意味着什么?——同一个模型,不需要为每个平台单独训练,即可在 Ubuntu、Windows、macOS、Android 等环境间切换工作。README 中给出的推理示例就展示了它在 Ubuntu 桌面执行"打开 Chrome 查看密码信息"这类多步任务的能力。
成绩单:比基线提升了多少?
在 ScaleCUA-Data 上训练后,相比基线模型的提升相当亮眼:
- 📈 WebArena-Lite-v2:绝对成功率提升 +26.6 分
- 📈 ScreenSpot-Pro:绝对成功率提升 +10.7 分
而在 ScaleCUA 家族的 SOTA 成绩方面:
| 基准测试 | 成绩 | 考察能力 |
|---|---|---|
| MMBench-GUI L1-Hard | 94.4% | GUI 元素理解 |
| OSWorld-G | 60.6% | 桌面操作接地(grounding) |
| WebArena-Lite-v2 | 47.4% | 网页任务完成 |
这三项分别对应"看懂界面 → 点准位置 → 完成复杂任务"的完整能力链,说明数据规模化的红利是系统性的。
模型结构与训练细节:配置文件里的"硬核"信息
翻开仓库里的配置文件,能看到不少有意思的工程细节:
- 架构:config.json 显示模型为
Qwen2_5_VLForConditionalGeneration,28 层 Transformer、隐藏维度 3584、支持 128K 超长上下文(max_position_embeddings: 128000),视觉塔(vision tower)独立 32 层,采用 bfloat16 精度 - 参数量:model.safetensors.index.json 记录总权重约 16.6 GB,共 729 个张量,分片存放在 4 个 safetensors 文件中
- 图像处理:preprocessor_config.json 中
min_pixels: 3136、max_pixels: 2109744,截图会被智能缩放到合理分辨率,兼顾精度与速度 - 训练过程:trainer_state.json 完整记录了 1 个 epoch、22095 步的训练日志,loss 从开头的 0.81 稳定降至约 0.27,最终平均训练 loss 0.374
- 推理策略:generation_config.json 设置了
temperature: 0.1、top_k: 1,即默认以确定性方式输出,保证 GUI 操作指令稳定可解析
两种使用模式:选对姿势,事半功倍
ScaleCUA 提供两种开箱即用的工作模式,可按场景切换:
🎯 Direct Action Mode(直接动作模式):做精准的"定位员"
适合一步到位的 GUI 接地任务,比如"点掉弹窗右上角的 X 按钮"。模型直接分析截图,输出可执行的动作指令,响应快、开销小,也常被用作其他 Agent 工作流中的 grounding 模块。
🧭 Reasoned Action Mode(推理动作模式):当"自主智能体"
适合复杂多步任务。模型会先输出三段式结构:
think:思考当前局面与计划operation:描述下一步意图action:给出具体动作代码
官方推荐这是通用电脑操作自动化的首选模式。
两种模式共享一套统一动作空间,覆盖 click、doubleClick、rightClick、scroll、dragTo、swipe、press、hotkey、write 等常见交互——从鼠标点击到键盘快捷键一应俱全(完整定义见 README.md 的 Action Space 部分)。
快速上手:三步跑起 ScaleCUA
如果你想亲自体验,只需下载仓库并加载模型:
git clone https://gitcode.com/OpenGVLab/ScaleCUA-7B
加载模型的核心代码只有几行(完整示例见 README.md):
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
"OpenGVLab/ScaleCUA-7B", torch_dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained(
"OpenGVLab/ScaleCUA-7B", min_pixels=3136, max_pixels=2109744
)
之后传入系统提示词、截图与任务描述即可生成动作。注意一个实用细节:模型输出的是缩放后图像的坐标,需要用 qwen_vl_utils.smart_resize 换算回原图坐标再点击,README 中已给出完整解析代码。
仓库文件速查表
| 文件 | 作用 |
|---|---|
| README.md | 项目介绍、两种模式用法与完整示例代码 |
| config.json | 模型架构配置(Qwen2.5-VL,28 层,128K 上下文) |
| model-00001-of-00004.safetensors ~ model-00004-of-00004.safetensors | 模型权重(共 4 个分片,约 16.6 GB) |
| model.safetensors.index.json | 权重分片索引(729 个张量) |
| preprocessor_config.json | 图像预处理参数(min/max pixels) |
| generation_config.json | 默认生成参数(temperature 0.1,top_k 1) |
| tokenizer_config.json / vocab.json / merges.txt | 分词器配置与词表 |
| chat_template.json | 多模态对话模板(含图片/视频占位符) |
| trainer_state.json | 完整训练日志(22095 步,1 epoch) |
总结
ScaleCUA 用一种朴素而有效的方式回答了"如何让开源电脑操作智能体追平闭源水平":
- 🔄 双循环数据流水线——自动智能体保规模,人类专家保质量
- 🌐 6 操作系统 × 3 领域的跨平台数据集——让"通用"不再是一句口号
- 📊 结果说话:WebArena-Lite-v2 +26.6 分、ScreenSpot-Pro +10.7 分,多个基准达到 SOTA
对想入门 GUI Agent 方向的朋友来说,这个仓库的价值不仅是一个可用的 7B 模型,更是一份可复现的数据规模化方法论样本。