揭秘ProactiveAgent的GYM仿真框架:三个LLM角色如何协同生成以假乱真的用户行为流

原创2026-11-02 13:59:212,195 阅读

揭秘ProactiveAgent的GYM仿真框架:三个LLM角色如何协同生成以假乱真的用户行为流

ProactiveAgent 是一个能主动预测用户任务的 LLM 智能体,而它背后有一个鲜为人知的"数据工厂"——GYM 仿真框架。GYM 用三个 LLM 扮演的角色(模拟用户、环境管理器、主动智能体)互相"演戏",源源不断地生成以假乱真的用户行为流,为主动智能体提供训练语料。本文将带你快速看懂这套 GYM 仿真框架的协作机制与运行方法。

ProactiveAgent的GYM仿真框架整体流水线:环境Gym、主动智能体与用户智能体三者协同生成用户行为流

🎭 三个角色:一台"三幕剧"的演员阵容

GYM 的核心思路非常巧妙:与其让一个模型又当导演又当演员,不如让三个 LLM 各演一个角色,通过事件相互驱动。

角色 实现文件 职责
🧑 UserAgent(模拟用户) user.py 扮演一个有名字、年龄、职业、习惯的"真人用户",一步步做出人类化操作
🌍 EnvironmentStateManager(环境模拟器) environment.py 维护场景中的实体(电脑、软件、文档……),根据用户动作生成后续环境事件
🤖 ProactiveAgent(主动智能体) activeagent.py 真正的"主角",观察事件流并主动预测用户下一步需要的任务

模拟用户:不只是"按脚本念台词"

UserAgent 开场会先调用大模型给自己立人设——根据你给的目标和主题,生成一份完整的 UserInfo(姓名、年龄、职业、教育背景、性格特征、多重身份),模型定义见 gym/models/user.py。

它的系统提示词里写得很直白:"要像一个真实用户那样回应,不要过于可预测"。每次行动前还会随机等待一小会儿,模拟人类的思考停顿。当 ProactiveAgent 给出主动建议时,用户角色还会以"真人视角"判断接不接受(judge 方法),拒绝就要求智能体换个方式再来。

环境模拟器:给世界加一点"不完美"

环境模拟器是整个框架的"物理引擎"。启动时它会把你配置里的一两句场景描述扩写成完整的环境设定(时间、实体清单、每个实体可执行的操作)。

更妙的是它的系统规则中有一条:"偶尔引入失败或意外事件以增加真实感"。也就是说,用户运行脚本可能会报错、程序可能会卡住——正是这些"意外",让主动智能体有了施展拳脚的空间,也让生成的数据更接近真实世界。

🔗 事件通道:三个角色的"中枢神经"

三个角色之间并不直接对话,而是通过一套**事件通道(Channel Tag)**异步协作,定义在 channel.py 中。核心通道包括:

  • activity:记录用户和智能体的一切动作
  • events:环境产生的事件流,用户和智能体都要"监听"它
  • env.status:环境实体的状态变更(比如"文件被修改""程序报错")
  • agent.proactive:智能体发出的主动任务建议
  • setup:全局初始化信号

这套"发布-订阅"机制让三个 LLM 角色像真正的多智能体系统一样并行推进:任何一方的动作都会变成通道里的事件,触发下一方的思考,如此循环往复,行为流便自然生长出来。基础抽象见 base.py。

🎬 一次完整仿真的幕后流程

整个数据生成循环由 main.py 的 data_loop 函数驱动,流程可以概括为五步:

  1. 读配置:加载场景配置文件(如 example.yaml),它定义了环境描述、用户人设与目标三大部分
  2. 组件就位:初始化事件汇聚器,创建 UserAgent 与环境管理器;若设置了环境变量 SETUP_PROACTIVE_AGENT=True,则同时启用 ProactiveAgent
  3. 环境介绍:环境模拟器先"自我介绍",用户角色可以反问细节,进一步打磨环境设定(intro 阶段)
  4. 行为循环:用户行动 → 环境生成新事件并更新实体状态 → 智能体观察事件、预测任务 → 用户判断接受或拒绝 → 循环继续
  5. 落盘输出:所有事件以 JSONL 格式实时写入输出文件

此外,框架还支持接入奖励模型作为"裁判"(reward.py):智能体的预测若被裁判拒绝,会自动带上拒绝理由重试,最多 3 次,保证写入数据的每一条建议都"经得起重复审查"。

🚀 快速上手:三步跑起你的 GYM 仿真

第一步:获取代码

git clone https://gitcode.com/gh_mirrors/pr/ProactiveAgent
cd ProactiveAgent

第二步:准备模型配置

复制示例配置并按需修改(模型名、API Key、Base URL):

cp example_config.toml private.toml

第三步:运行仿真

python -m gym.main gym/example.yaml test.jsonl

第一个参数是场景配置(参考 gym/README_zh.md),第二个参数是输出的行为流文件。想批量造数据?仓库还提供了场景批量构建与数据生成脚本:

✨ 为什么生成的行为流"以假乱真"

这套框架能骗过大模型、接近真实人类轨迹,靠的是几处精心设计的细节:

  • 🎲 随机性:环境初始时间、事件耗时(deltatime)都带随机量,用户动作间隔也是随机等待,避免机械节奏
  • 📦 实体状态持续演化:每个实体(如 VsCode 1.92.0)都有描述、状态、属性和历史操作记录(env.py),事件必须与历史一致、不能出现"不存在的元素"
  • ⚠️ 刻意引入故障:报错、失败、无意义的操作(比如顺手刷了个通知)都会被生成,让轨迹有"人味儿"
  • ⚖️ 双重把关:用户角色的主观判断 + 奖励模型的客观评审,双向过滤低质量行为

📊 这些行为流用在哪里?

GYM 是 ProactiveAgent 的训练数据源头:所有主动智能体的训练实例都来自 GYM 生成(见 dataset/README_zh.md)。项目公开的 136 个场景实例、6790 条事件覆盖编程、写作与日常生活三大场景;dataset/reward_data/ 下的 train_data.jsonl 与 test_data.jsonl 则支撑着 F1 达 0.918 的奖励模型。

一句话总结:GYM 用"三个 LLM 演一台戏"的方式,把昂贵的真实行为采集变成了可编程、可复现、可批量生产的仿真流水线——这正是 ProactiveAgent 能够主动"读懂"用户意图的底气所在。

登录后查看全文
ProactiveAgent