如何在AndroidWorld中构建你自己的智能体:3步扩展EnvironmentInteractingAgent并加入基准测试
如何在AndroidWorld中构建你自己的智能体:3步扩展EnvironmentInteractingAgent并加入基准测试
AndroidWorld 是谷歌研究团队推出的自主智能体(autonomous agent)基准测试环境,运行在真实的 Android 模拟器上,内置 116 个跨 20 款 App 的手工任务。本教程带你用 3 步扩展 EnvironmentInteractingAgent 基类,把自研智能体接入官方 benchmark,几分钟即可跑通完整评测流程。
📱 先搞懂任务运行机制
AndroidWorld 中每个任务(TaskEval)会生成一条自然语言目标(goal),例如 "Add a location marker to OsmAnd"。评测框架在 android_world/episode_runner.py 的 run_episode 中按固定节奏驱动智能体:
- 调用
agent.reset()重置状态,agent.set_max_steps()注入步数预算; - 在 for 循环中反复调用你实现的
agent.step(goal); - 当你返回的结果中
done=True时,本轮 episode 结束,环境给出奖励分数。
所以你的全部工作就是:写对 step 方法。
🤖 第一步:扩展 EnvironmentInteractingAgent
智能体基类定义在 android_world/agents/base_agent.py 中。你只需继承它并实现一个抽象方法 step,其余如环境访问、状态读取都由基类托管:
class MyAgent(base_agent.EnvironmentInteractingAgent):
def __init__(self, env, name='MyAgent'):
super().__init__(env, name)
def step(self, goal: str) -> base_agent.AgentInteractionResult:
# 1. 获取当前屏幕截图与UI元素
state = self.get_post_transition_state()
# 2. 根据 goal 和 state 决策一个动作并执行
self.env.execute_action(action)
# 3. 返回结果,done=True 表示任务完成
return base_agent.AgentInteractionResult(done, {'raw_screenshot': state.pixels})
get_post_transition_state()会自动等待屏幕稳定后返回截图(state.pixels)和 UI 树(state.ui_elements),免去你处理时序抖动;- 动作通过 android_world/env/json_action.py 中支持的 JSON 动作表达,常用类型如下:
| 动作 | 用途 |
|---|---|
click / double_tap / long_press |
点击、双击、长按坐标 |
swipe / scroll |
方向滑动与滚动 |
input_text |
在输入框输入文本 |
navigate_back / navigate_home |
系统导航 |
keyboard_enter / wait |
回车与等待 |
仓库里最简单的参照实现是随机智能体 android_world/agents/random_agent.py,完整的 LLM 智能体可参考 android_world/agents/m3a.py,从简单到复杂平滑升级。
✍️ 第二步:在 run.py 中注册你的智能体
run.py 的 _get_agent 方法负责按名称实例化智能体。做两件事:
- 在文件顶部
import你的智能体模块; - 在
_get_agent的 if/elif 链中加一个分支:
elif _AGENT_NAME.value == 'my_agent':
agent = my_agent.MyAgent(env)
注意:run.py 中会根据任务集自动设置 transition_pause(MiniWoB 任务用 0.2 秒,AndroidWorld 任务自动等待屏幕稳定),你的智能体无需自己处理这部分。
🚀 第三步:运行基准测试
一切就绪,执行评测命令即可:
python run.py \
--suite_family=android_world \
--agent_name=my_agent \
--perform_emulator_setup \
--tasks=ContactsAddContact,ClockStopWatchRunning
几个实用参数:
--tasks:先跑少数任务快速验证,留空则跑全量 116 个任务;--n_task_combinations:每个任务的随机参数组合数,可生成百万级任务变体;--checkpoint_dir:中断后可从断点续跑,长评测必备;- 想测试网页任务?把
--suite_family换成miniwob即可。
结果会写入 ~/android_world/runs 下的输出目录,包含每一步的截图、UI 树和最终奖励。
✅ 小结
| 步骤 | 位置 | 要做的事 |
|---|---|---|
| 1 | 新建智能体文件 | 继承 EnvironmentInteractingAgent,实现 step |
| 2 | run.py | import 并加入 _get_agent 分支 |
| 3 | 终端 | python run.py --agent_name=你的名字 |
整个过程只需改动不到 20 行代码。如果之后还想给 AndroidWorld 增加新任务,可继续参考官方任务开发指南 docs/tasks_guide.md,让你的智能体在更多场景中被检验。
