Dressage完全解析:面向任意Agent与沙箱的Agentic RL训练框架,一次看懂它为什么能规模化
Dressage完全解析:面向任意Agent与沙箱的Agentic RL训练框架,一次看懂它为什么能规模化
Dressage 是一个面向任意 Agent 与沙箱的 Agentic RL 训练框架(Scalable RL for Any Agent and Sandbox),构建在开源框架 slime 之上。它把策略 rollout、沙箱工具执行、训练数据转换串成一条完整的强化学习闭环:无论是 Python 白盒工具循环,还是 opencode、Claude Code、Codex 这类黑盒 HTTP Agent,都能通过统一的 Proxy + Paddock 层产出 token 级训练证据,实现带完整 RL 梯度流的规模化训练。
🧭 Dressage 是什么:连接 Agent、沙箱与 RL 训练的桥
传统 RL 训练框架大多假设"模型直接生成回答",而真实的 Agent 训练要复杂得多:Agent 会调用 shell、读写文件、调用检索 API、压缩重写历史,甚至跨越多轮上下文窗口。Dressage 用三个正交设计解耦了这件事:
| 设计轴 | 解决什么问题 | 可选方案 |
|---|---|---|
| Paddock(交互语义) | Agent 怎么与环境打交道 | whitebox(Python 工具循环)/ blackbox(HTTP Agent) |
| Sandbox(执行位置) | Agent 代码在哪里隔离运行 | 本地 bubblewrap 池 / 远程 E2B 云沙箱 |
| Proxy(token 记录) | 训练证据如何无损采集 | 每个 token 记录 token_id、logprob、loss_mask、版本、MoE 路由 |
核心模块位于 dressage/,其中 dressage/proxy/ 负责 token 级轨迹记录,dressage/paddock/ 负责环境交互,dressage/sandbox/ 负责隔离后端,dressage/rollout/ 负责与 slime 的训练闭环对接。
🏗️ 架构一览:三条正交轴,任意组合
Dressage 的架构可以概括为"四个主人":
- Dressage 拥有 Agentic RL 桥梁:rollout 钩子创建 session,Proxy 记录 token 级证据,训练层把轨迹转成 slime 可直接消费的样本;
- Paddock 拥有交互语义:白盒跑 Python 工具循环,黑盒通过 BlackboxServer 委托给 HTTP Agent;
- Sandbox 拥有位置与隔离:同一套 rollout 代码可以指向本地 bubblewrap 槽位或远程 E2B 沙箱,Agent 逻辑一行不用改;
- Slime 拥有训练底座:Megatron 训练、Ray rollout 编排、SGLang 推理都保持上游原生,通过 dotted import path 钩子定制,无需 fork。
端到端的一次 rollout 流程非常直观:
1️⃣ Generate hook 创建 paddock 租约 + proxy session
2️⃣ Agent 运行(白盒 Python 循环或黑盒 HTTP Agent)
3️⃣ 每次 LLM 调用经过 Proxy → SGLang,逐 step 记录 token
4️⃣ session 终结为一条或多条轨迹 segment
5️⃣ segment 展开为训练 Sample,reward + loss 钩子准备 train_data
黑盒侧由 blackbox_server/ 提供统一 HTTP 适配:它跑在沙箱内部,管理一个后端 Agent 进程和一个活跃 session,并把 Agent 的所有 LLM 调用透明地代理回 Dressage Proxy。协议细节见 docs/blackbox-server.md。
🔤 token 级记录的核心:Proxy 与 TITO
Agentic RL 训练的第一正确性难题是重新分词漂移(retokenization drift):多轮对话中每轮重新 tokenize 整段历史,同样的前缀文本可能产出不同的 token ID,导致 rollout 时记录的 logprob 与训练时的 token 序列对不上。
Dressage 的答案是 TITO(Token-In-Token-Out):只编码每一轮新增的增量部分,把 token ID 逐段拼接,绝不整体重新分词,从根本上保证前缀一致。相关实现在 dressage/proxy/tito/tito_tokenizer.py。
此外,Proxy 还负责:
- 自动分段:当 Agent 压缩/重写历史或中途更换工具 schema 时,自动关闭当前 segment 并开启新 segment,保证 token 边界干净;
- 可抢占生成:
GenerationController能在权重更新时于任意 token 边界暂停生成,更新完成后恢复,支撑 partial rollout 持续训练; - 权重版本追踪:每个 token 都打上"由哪个版本的模型权重生成"的标记,用于 staleness 控制与选择性 loss 掩码;
- MoE 路由回放(R3):为 MoE 模型逐 token 记录路由的 expert ID,训练时忠实回放 rollout 时的专家选择。
完整设计见 docs/proxy.md。
📦 多 segment 轨迹:不丢弃任何一次推理
长 Agent 轨迹经常因历史压缩或工具变化被切成多个 segment。naive 做法只训练最后一个 segment,前面的分析与调试过程全部浪费。Dressage 的做法是把每个 segment 都展开成训练样本,并将锚点 segment 的终端 advantage 广播给所有兄弟 segment;共享的 rollout_id / parent_traj_id 保证它们进入同一个训练 step,prompt-equal 分母则避免分段多的轨迹获得额外梯度权重。核心逻辑在 dressage/rollout/multi_segment.py,深度讲解见 docs/training.md。
这张图解释了为什么长上下文训练必须考虑存储:上下文窗口限制的是单个 Segment 的长度,而不是一条 trajectory 的总量。Agent 可以不断压缩历史继续交互,一条 trajectory 最终对应多个接近窗口上限的 Segment,总量远超"batch size × context window"的直觉估算。
🚀 为什么它能规模化:轨迹存储优化与 staleness 控制
规模化瓶颈一:主节点内存。 当 MoE 模型开启 R3 后,每个 token 都要记录各 MoE 层的 top-k expert ID,存储量随上下文长度、轨迹数、模型层数同时增长。Dressage 集成 TransferQueue,把 logprobs、expert ID 等大字段下沉到独立 StorageUnit:在 Qwen3.6-35B 双机实验中,master 轨迹数据面峰值从 757 GiB 降至 247 GiB(-67%);在 32 节点 GLM-5.2 容量分析中降幅达 91%。
规模化瓶颈二:异步训练的 staleness。 异步训练让 rollout 与训练并行,吞吐大增,但训练器可能反复消费旧策略产生的数据。Dressage 在批级用 dressage_staleness_keep_versions 只保留最近 N 个权重版本的轨迹,在 partial rollout 侧用 --max-partial-rollout-preempts 限制单条轨迹跨版本数量,双管齐下压住 train-inference gap。实现见 dressage/rollout/staleness.py,机制说明见 docs/staleness.md。
规模化瓶颈三:rollout 调度。 dressage/rollout/ 提供 sync、fully async、partial async 三种调度模式,配合可插拔 reward 注册表(dressage/reward/registry.py)和原子化的轨迹日志,失败的 rollout 可诊断且不污染训练数据。
📈 真实训练效果:白盒与黑盒两条线都有可复现结果
白盒 Agent:内置 ALFWorld(文本世界导航)与 HotpotQA(多跳检索)两个 recipe,数据准备与训练脚本开箱即用。异步模式下 ALFWorld 的轨迹平均 reward 稳定爬升至接近 1.0:
黑盒 Agent:Dressage Claw recipe 用 OpenClaw 黑盒 Agent 做端到端 RL,Qwen3.6-35B-A3B 在 ClawEval general split 上的 strict Pass^3 从 41.4 提升到 55.4(+14.0 分),且在 Pass^3 与 token 效率的权衡图上明显优于基线:
SWE-Gym + Claude Code recipe 则让 Qwen3.5-4B 在 SWE-bench Verified 上从 32.6% 提升到 37.8%(+5.2 分)。完整实验报告见 docs/blackbox-dressage-claw-experiment-zh.md 和 docs/blackbox-swegym-claude-code-experiment-zh.md,recipe 总览见 docs/recipes.md。
🏃 快速上手:三步跑通第一次 Agentic RL 训练
Dressage 的推荐方式是直接使用 Docker 镜像(含 bubblewrap、opencode、Claude Code、Codex CLI 等全部依赖):
docker pull huang3eng/dressage:latest
然后克隆仓库并运行示例脚本(仓库地址:https://gitcode.com/gh_mirrors/dr/Dressage):
git clone --recurse-submodules https://gitcode.com/gh_mirrors/dr/Dressage.git
cd Dressage
bash examples/scripts/run_blackbox_qwen3.5_4b_async_local.sh
常用配置全部走环境变量,最核心的几个:
DRESSAGE_PADDOCK_MODE=whitebox|blackbox—— 选择 Agent 交互范式;DRESSAGE_SANDBOX_PROVIDER=local_bwrap|e2b—— 选择沙箱后端;DRESSAGE_BLACKBOX_TYPE=opencode|openclaw|claude_code|codex—— 选择黑盒后端。
完整的安装、配置参考与故障排查见 docs/quickstart.md,白盒 recipe 的启动指南见 docs/whitebox-agent-quickstart.md。
📚 延伸阅读:官方文档与核心源码导航
| 主题 | 入口 |
|---|---|
| 推理 Proxy 与 TITO 深入 | docs/proxy.md |
| Paddock 交互接口与工厂模式 | docs/paddock.md |
| 沙箱后端(bwrap / E2B) | docs/sandbox.md |
| BlackboxServer 协议与适配器 | docs/blackbox-server.md |
| Rollout 钩子与异步模式 | docs/rollout.md |
| 多 segment 训练与训练层 | docs/training.md |
| Staleness 控制机制 | docs/staleness.md |
| 轨迹存储重构技术报告 | docs/trajectory-storage-refactor-zh.md |
| 多教师 MOPD | docs/mopd.md |
| Harbor 集成 | docs/harbor.md |
💡 小结:Dressage 规模化能力的本质
一句话总结 Dressage 的设计哲学:Agent 是什么(whitebox/blackbox)、在哪里跑(bwrap/E2B)、如何记录(token 级 Proxy)三个问题彻底正交。token 级证据让训练数据无损,TITO 让长轨迹不错位,多 segment 展开让推理过程不浪费,TransferQueue 与 staleness 控制让系统在百 GiB 到 TiB 级别的数据面上依然可扩展。无论你训练的是导航 Agent、检索 Agent,还是 Claude Code 这样的生产级编码 Agent,Dressage 都提供同一条通往 RL 梯度流的通路。





