ScaleCUA_Env虚拟机镜像揭秘:macOS与Ubuntu QEMU磁盘如何构建跨平台GUI智能体沙箱
ScaleCUA_Env虚拟机镜像揭秘:macOS与Ubuntu QEMU磁盘如何构建跨平台GUI智能体沙箱
ScaleCUA_Env 是一个专注为 GUI 智能体(GUI Agent)提供沙箱环境的开源仓库,核心价值在于它直接打包了 macOS 与 Ubuntu 的 QEMU 虚拟机磁盘镜像,让 AI 智能体能在一个与真实桌面环境高度一致的隔离沙箱中"看屏幕、点鼠标、敲键盘"。本文带你快速看懂这些 GB 级镜像镜像文件的来龙去脉。
一、为什么 GUI 智能体需要虚拟机沙箱?
训练和评测一个会操作桌面的 AI 智能体,你至少需要解决三件事:
- 环境一致性:每次启动都要得到同一套桌面环境,否则实验无法复现;
- 平台多样性:真实用户会用 macOS、Linux、Android、网页,智能体也应覆盖这些平台;
- 隔离与安全:智能体行为不可控(可能乱点、乱删),必须关进"笼子"。
ScaleCUA_Env 的解法很直接——把整个操作系统做进磁盘镜像里。仓库里的 resources/ 目录按平台分成四块:macos/、ubuntu/、android/、web/,每个目录就是一条开箱即用的沙箱通道。
二、仓库结构速览:镜像都藏在哪里?
| 平台 | 目录 | 形态 | 大致体积 |
|---|---|---|---|
| 🍎 macOS | resources/macos/ | 原始磁盘镜像(.img) | 约 0.9 GB + 44.5 GB |
| 🐧 Ubuntu | resources/ubuntu/ | QEMU 虚拟磁盘(.qcow2) | 约 37.6 GB |
| 🌐 Web | resources/web/ | Docker 镜像归档(.tar) | 约 8.1 GB |
| 📱 Android | resources/android/ | Docker 构建文件 + 控制脚本 | 镜像本体经容器拉取 |
所有大文件都托管在 Git LFS 上,具体过滤规则见 .gitattributes。
三、macOS 双磁盘方案:BaseSystem 如何跑通 QEMU
在 x86 机器上用 QEMU 装 macOS 一直是件麻烦事,ScaleCUA_Env 给出了"双镜像"组合拳:
1. BaseSystem.img:引导用的"安装系统"
BaseSystem.img 约 826 MiB,它是 macOS 安装器自带的 BaseSystem 最小系统。作用是引导 QEMU 虚拟机进入安装环境——绕过 App Store 与硬件校验,是"黑苹果"跑 QEMU 的经典关键部件。
2. mac_hdd_ng.img:真正的"成品桌面"
mac_hdd_ng.img 约 44.5 GB,命名里的 ng 是 macOS 系统分区的惯例叫法。这份镜像相当于已经装好系统、配置完毕的完整 macOS 磁盘:克隆仓库、拉取 LFS 文件后,QEMU 直接挂载启动即可得到一台可用的 macOS"云主机",无需重复走安装流程。
💡 一句话总结:BaseSystem.img 负责"能装",mac_hdd_ng.img 负责"装了",两者配合让 macOS 沙箱的启动时间从小时级降到分钟级。
四、Ubuntu 41G 磁盘:qcow2 格式与预装应用
Ubuntu 侧的镜像是 Ubuntu_w_apps_41G.qcow2(约 37.6 GB)。这里有两个值得新手注意的设计:
- qcow2 而非裸 img:QEMU 的 qcow2 格式支持写时复制(CoW)与稀疏文件,实际占用的磁盘空间远小于镜像标称容量,还能方便地"从母盘 fork 快照",非常适合多实例并行的智能体评测场景;
w_apps= with apps:镜像名直白地告诉你,这台 Ubuntu 不是裸系统,而是预装了常用 GUI 应用(浏览器、办公软件等)——GUI 智能体的操作对象就是这些窗口,镜像里装好了,评测才有的放矢。
配合 QEMU 的 KVM 加速,这套 Ubuntu 桌面沙箱在普通 x86 服务器上即可流畅运行,是 GUI 智能体评测的"主力机型"。
五、补齐另外两端:Web 与 Android 沙箱
跨平台不止两端,ScaleCUA_Env 把 Web 和移动端也一并容器化了:
Web 沙箱:WebArena-lite 归档
ubuntu-webarena-lite-v2-test.tar 是一个 Docker 镜像归档(约 8.1 GB),docker load 导入后就能拉起一套精简版 WebArena 环境。GUI 智能体在这个容器里操作浏览器完成网页任务,与桌面沙箱共享同一套"截图 + 动作"的交互协议。
Android 沙箱:Docker 构建 + HTTP 控制
Android 侧的思路更工程化:
- Dockerfile 基于
python:3.11-slim,一次性装好 OpenJDK 8、Android SDK、emulator 与 Qt/X11 全家桶,并内置了 Pixel 7 Pro(API 33)的 AVD 与 x86_64 系统镜像——注意 Android 模拟器本质也是一份虚拟机磁盘; - adb_client.py 是一个 Flask 小服务,对外暴露
/start、/stop、/execute三个 HTTP 接口,智能体框架远程调一下就能"开机/关机/执行 adb 命令",连屏幕都通过-no-window参数关掉,纯无头(headless)运行。
六、如何克隆这些"GB 级"镜像?
由于大文件全部走 Git LFS,克隆时请先确认本机已安装 git-lfs:
git lfs install
git clone https://gitcode.com/OpenGVLab/ScaleCUA_Env
克隆完成后,LFS 会按 .gitattributes 中的规则自动把 *.img、*.qcow2、*.tar、*.zip 等文件拉回为真实内容。💡 小提示:完整拉取所有镜像需要预留约 100 GB 空间,如果你只用 Ubuntu 沙箱,也可以只按需获取对应文件。
七、常见问题(FAQ)
Q1:为什么 macOS 镜像要分成两个文件?
A:BaseSystem.img 是安装引导盘,mac_hdd_ng.img 是装好的系统盘。前者小、用于冷启动安装,后者大、用于日常直接运行,分工明确。
Q2:qcow2 和 .img 我该用哪个?
A:单实例、追求简单就用 .img(如 macOS 场景);需要多开实例、打快照、控制磁盘占用就选 .qcow2(如 Ubuntu 场景)。
Q3:这些沙箱能用在哪些智能体项目里? A:只要你的框架采用"截图观察 + 动作执行"的 GUI Agent 范式(如 ScaleCUA 系列评测),直接把这些镜像作为 QEMU/容器后端即可复用,环境一致性由镜像本身保证。
写在最后
ScaleCUA_Env 用一个朴素的思路解决了 GUI 智能体的大难题:操作系统即镜像,沙箱即磁盘。macOS 双镜像负责"装得上",Ubuntu qcow2 负责"跑得快",Web 与 Android 容器补齐了跨平台拼图。对于想在多平台上训练和评测 GUI Agent 的同学,直接 clone 仓库、拉起虚拟机,就能拥有一个随时可用、完全可复现的桌面沙箱底座。