如何在AndroidWorld中构建你自己的智能体:3步扩展EnvironmentInteractingAgent并加入基准测试

原创2026-10-22 17:58:391,875 阅读

如何在AndroidWorld中构建你自己的智能体:3步扩展EnvironmentInteractingAgent并加入基准测试

AndroidWorld 是谷歌研究团队推出的自主智能体(autonomous agent)基准测试环境,运行在真实的 Android 模拟器上,内置 116 个跨 20 款 App 的手工任务。本教程带你用 3 步扩展 EnvironmentInteractingAgent 基类,把自研智能体接入官方 benchmark,几分钟即可跑通完整评测流程。

AndroidWorld自主智能体基准测试架构图:Agent与Android模拟器交互完成任务

📱 先搞懂任务运行机制

AndroidWorld 中每个任务(TaskEval)会生成一条自然语言目标(goal),例如 "Add a location marker to OsmAnd"。评测框架在 android_world/episode_runner.py 的 run_episode 中按固定节奏驱动智能体:

  1. 调用 agent.reset() 重置状态,agent.set_max_steps() 注入步数预算;
  2. 在 for 循环中反复调用你实现的 agent.step(goal);
  3. 当你返回的结果中 done=True 时,本轮 episode 结束,环境给出奖励分数。

所以你的全部工作就是:写对 step 方法。

🤖 第一步:扩展 EnvironmentInteractingAgent

智能体基类定义在 android_world/agents/base_agent.py 中。你只需继承它并实现一个抽象方法 step,其余如环境访问、状态读取都由基类托管:

class MyAgent(base_agent.EnvironmentInteractingAgent):
  def __init__(self, env, name='MyAgent'):
    super().__init__(env, name)

  def step(self, goal: str) -> base_agent.AgentInteractionResult:
    # 1. 获取当前屏幕截图与UI元素
    state = self.get_post_transition_state()
    # 2. 根据 goal 和 state 决策一个动作并执行
    self.env.execute_action(action)
    # 3. 返回结果,done=True 表示任务完成
    return base_agent.AgentInteractionResult(done, {'raw_screenshot': state.pixels})
  • get_post_transition_state() 会自动等待屏幕稳定后返回截图(state.pixels)和 UI 树(state.ui_elements),免去你处理时序抖动;
  • 动作通过 android_world/env/json_action.py 中支持的 JSON 动作表达,常用类型如下:
动作 用途
click / double_tap / long_press 点击、双击、长按坐标
swipe / scroll 方向滑动与滚动
input_text 在输入框输入文本
navigate_back / navigate_home 系统导航
keyboard_enter / wait 回车与等待

仓库里最简单的参照实现是随机智能体 android_world/agents/random_agent.py,完整的 LLM 智能体可参考 android_world/agents/m3a.py,从简单到复杂平滑升级。

✍️ 第二步:在 run.py 中注册你的智能体

run.py 的 _get_agent 方法负责按名称实例化智能体。做两件事:

  1. 在文件顶部 import 你的智能体模块;
  2. 在 _get_agent 的 if/elif 链中加一个分支:
elif _AGENT_NAME.value == 'my_agent':
  agent = my_agent.MyAgent(env)

注意:run.py 中会根据任务集自动设置 transition_pause(MiniWoB 任务用 0.2 秒,AndroidWorld 任务自动等待屏幕稳定),你的智能体无需自己处理这部分。

🚀 第三步:运行基准测试

一切就绪,执行评测命令即可:

python run.py \
  --suite_family=android_world \
  --agent_name=my_agent \
  --perform_emulator_setup \
  --tasks=ContactsAddContact,ClockStopWatchRunning

几个实用参数:

  • --tasks:先跑少数任务快速验证,留空则跑全量 116 个任务;
  • --n_task_combinations:每个任务的随机参数组合数,可生成百万级任务变体;
  • --checkpoint_dir:中断后可从断点续跑,长评测必备;
  • 想测试网页任务?把 --suite_family 换成 miniwob 即可。

结果会写入 ~/android_world/runs 下的输出目录,包含每一步的截图、UI 树和最终奖励。

✅ 小结

步骤 位置 要做的事
1 新建智能体文件 继承 EnvironmentInteractingAgent,实现 step
2 run.py import 并加入 _get_agent 分支
3 终端 python run.py --agent_name=你的名字

整个过程只需改动不到 20 行代码。如果之后还想给 AndroidWorld 增加新任务,可继续参考官方任务开发指南 docs/tasks_guide.md,让你的智能体在更多场景中被检验。

登录后查看全文
android_world