Dressage完全解析:面向任意Agent与沙箱的Agentic RL训练框架,一次看懂它为什么能规模化

原创2026-10-26 22:23:001,401 阅读

Dressage完全解析:面向任意Agent与沙箱的Agentic RL训练框架,一次看懂它为什么能规模化

Dressage 是一个面向任意 Agent 与沙箱的 Agentic RL 训练框架(Scalable RL for Any Agent and Sandbox),构建在开源框架 slime 之上。它把策略 rollout、沙箱工具执行、训练数据转换串成一条完整的强化学习闭环:无论是 Python 白盒工具循环,还是 opencode、Claude Code、Codex 这类黑盒 HTTP Agent,都能通过统一的 Proxy + Paddock 层产出 token 级训练证据,实现带完整 RL 梯度流的规模化训练。

🧭 Dressage 是什么:连接 Agent、沙箱与 RL 训练的桥

传统 RL 训练框架大多假设"模型直接生成回答",而真实的 Agent 训练要复杂得多:Agent 会调用 shell、读写文件、调用检索 API、压缩重写历史,甚至跨越多轮上下文窗口。Dressage 用三个正交设计解耦了这件事:

设计轴 解决什么问题 可选方案
Paddock(交互语义) Agent 怎么与环境打交道 whitebox(Python 工具循环)/ blackbox(HTTP Agent)
Sandbox(执行位置) Agent 代码在哪里隔离运行 本地 bubblewrap 池 / 远程 E2B 云沙箱
Proxy(token 记录) 训练证据如何无损采集 每个 token 记录 token_id、logprob、loss_mask、版本、MoE 路由

核心模块位于 dressage/,其中 dressage/proxy/ 负责 token 级轨迹记录,dressage/paddock/ 负责环境交互,dressage/sandbox/ 负责隔离后端,dressage/rollout/ 负责与 slime 的训练闭环对接。

Dressage 整体架构图:BlackboxServer、Sandbox 与 Rollout Manager 三层结构

🏗️ 架构一览:三条正交轴,任意组合

Dressage 的架构可以概括为"四个主人":

  • Dressage 拥有 Agentic RL 桥梁:rollout 钩子创建 session,Proxy 记录 token 级证据,训练层把轨迹转成 slime 可直接消费的样本;
  • Paddock 拥有交互语义:白盒跑 Python 工具循环,黑盒通过 BlackboxServer 委托给 HTTP Agent;
  • Sandbox 拥有位置与隔离:同一套 rollout 代码可以指向本地 bubblewrap 槽位或远程 E2B 沙箱,Agent 逻辑一行不用改;
  • Slime 拥有训练底座:Megatron 训练、Ray rollout 编排、SGLang 推理都保持上游原生,通过 dotted import path 钩子定制,无需 fork。

端到端的一次 rollout 流程非常直观:

1️⃣  Generate hook 创建 paddock 租约 + proxy session
2️⃣  Agent 运行(白盒 Python 循环或黑盒 HTTP Agent)
3️⃣  每次 LLM 调用经过 Proxy → SGLang,逐 step 记录 token
4️⃣  session 终结为一条或多条轨迹 segment
5️⃣  segment 展开为训练 Sample,reward + loss 钩子准备 train_data

黑盒侧由 blackbox_server/ 提供统一 HTTP 适配:它跑在沙箱内部,管理一个后端 Agent 进程和一个活跃 session,并把 Agent 的所有 LLM 调用透明地代理回 Dressage Proxy。协议细节见 docs/blackbox-server.md。

🔤 token 级记录的核心:Proxy 与 TITO

Agentic RL 训练的第一正确性难题是重新分词漂移(retokenization drift):多轮对话中每轮重新 tokenize 整段历史,同样的前缀文本可能产出不同的 token ID,导致 rollout 时记录的 logprob 与训练时的 token 序列对不上。

Dressage 的答案是 TITO(Token-In-Token-Out):只编码每一轮新增的增量部分,把 token ID 逐段拼接,绝不整体重新分词,从根本上保证前缀一致。相关实现在 dressage/proxy/tito/tito_tokenizer.py。

此外,Proxy 还负责:

  • 自动分段:当 Agent 压缩/重写历史或中途更换工具 schema 时,自动关闭当前 segment 并开启新 segment,保证 token 边界干净;
  • 可抢占生成:GenerationController 能在权重更新时于任意 token 边界暂停生成,更新完成后恢复,支撑 partial rollout 持续训练;
  • 权重版本追踪:每个 token 都打上"由哪个版本的模型权重生成"的标记,用于 staleness 控制与选择性 loss 掩码;
  • MoE 路由回放(R3):为 MoE 模型逐 token 记录路由的 expert ID,训练时忠实回放 rollout 时的专家选择。

完整设计见 docs/proxy.md。

📦 多 segment 轨迹:不丢弃任何一次推理

长 Agent 轨迹经常因历史压缩或工具变化被切成多个 segment。naive 做法只训练最后一个 segment,前面的分析与调试过程全部浪费。Dressage 的做法是把每个 segment 都展开成训练样本,并将锚点 segment 的终端 advantage 广播给所有兄弟 segment;共享的 rollout_id / parent_traj_id 保证它们进入同一个训练 step,prompt-equal 分母则避免分段多的轨迹获得额外梯度权重。核心逻辑在 dressage/rollout/multi_segment.py,深度讲解见 docs/training.md。

上下文窗口约束单个 Segment 而非整条 trajectory,Segment 会随训练不断扩展

这张图解释了为什么长上下文训练必须考虑存储:上下文窗口限制的是单个 Segment 的长度,而不是一条 trajectory 的总量。Agent 可以不断压缩历史继续交互,一条 trajectory 最终对应多个接近窗口上限的 Segment,总量远超"batch size × context window"的直觉估算。

🚀 为什么它能规模化:轨迹存储优化与 staleness 控制

规模化瓶颈一:主节点内存。 当 MoE 模型开启 R3 后,每个 token 都要记录各 MoE 层的 top-k expert ID,存储量随上下文长度、轨迹数、模型层数同时增长。Dressage 集成 TransferQueue,把 logprobs、expert ID 等大字段下沉到独立 StorageUnit:在 Qwen3.6-35B 双机实验中,master 轨迹数据面峰值从 757 GiB 降至 247 GiB(-67%);在 32 节点 GLM-5.2 容量分析中降幅达 91%。

启用 TransferQueue 后轨迹数据面峰值内存下降 67%,RolloutManager 与 Ray Object Store 不再承载轨迹大字段

GLM-5.2-744B 场景下启用 TransferQueue 后 master 轨迹数据面峰值预估,从 3.84 TiB 降至 0.33 TiB

规模化瓶颈二:异步训练的 staleness。 异步训练让 rollout 与训练并行,吞吐大增,但训练器可能反复消费旧策略产生的数据。Dressage 在批级用 dressage_staleness_keep_versions 只保留最近 N 个权重版本的轨迹,在 partial rollout 侧用 --max-partial-rollout-preempts 限制单条轨迹跨版本数量,双管齐下压住 train-inference gap。实现见 dressage/rollout/staleness.py,机制说明见 docs/staleness.md。

规模化瓶颈三:rollout 调度。 dressage/rollout/ 提供 sync、fully async、partial async 三种调度模式,配合可插拔 reward 注册表(dressage/reward/registry.py)和原子化的轨迹日志,失败的 rollout 可诊断且不污染训练数据。

📈 真实训练效果:白盒与黑盒两条线都有可复现结果

白盒 Agent:内置 ALFWorld(文本世界导航)与 HotpotQA(多跳检索)两个 recipe,数据准备与训练脚本开箱即用。异步模式下 ALFWorld 的轨迹平均 reward 稳定爬升至接近 1.0:

ALFWorld 白盒 Agent 异步训练的 raw_reward_trajectory_mean 训练曲线,reward 从 0.5 升至约 1.0

黑盒 Agent:Dressage Claw recipe 用 OpenClaw 黑盒 Agent 做端到端 RL,Qwen3.6-35B-A3B 在 ClawEval general split 上的 strict Pass^3 从 41.4 提升到 55.4(+14.0 分),且在 Pass^3 与 token 效率的权衡图上明显优于基线:

Dressage-Claw 在 ClawEval 上的 Pass3 vs Token Efficiency 基准对比图,Ours 达到 55.4%

SWE-Gym + Claude Code recipe 则让 Qwen3.5-4B 在 SWE-bench Verified 上从 32.6% 提升到 37.8%(+5.2 分)。完整实验报告见 docs/blackbox-dressage-claw-experiment-zh.md 和 docs/blackbox-swegym-claude-code-experiment-zh.md,recipe 总览见 docs/recipes.md。

🏃 快速上手:三步跑通第一次 Agentic RL 训练

Dressage 的推荐方式是直接使用 Docker 镜像(含 bubblewrap、opencode、Claude Code、Codex CLI 等全部依赖):

docker pull huang3eng/dressage:latest

然后克隆仓库并运行示例脚本(仓库地址:https://gitcode.com/gh_mirrors/dr/Dressage):

git clone --recurse-submodules https://gitcode.com/gh_mirrors/dr/Dressage.git
cd Dressage
bash examples/scripts/run_blackbox_qwen3.5_4b_async_local.sh

常用配置全部走环境变量,最核心的几个:

  • DRESSAGE_PADDOCK_MODE=whitebox|blackbox —— 选择 Agent 交互范式;
  • DRESSAGE_SANDBOX_PROVIDER=local_bwrap|e2b —— 选择沙箱后端;
  • DRESSAGE_BLACKBOX_TYPE=opencode|openclaw|claude_code|codex —— 选择黑盒后端。

完整的安装、配置参考与故障排查见 docs/quickstart.md,白盒 recipe 的启动指南见 docs/whitebox-agent-quickstart.md。

📚 延伸阅读:官方文档与核心源码导航

主题 入口
推理 Proxy 与 TITO 深入 docs/proxy.md
Paddock 交互接口与工厂模式 docs/paddock.md
沙箱后端(bwrap / E2B) docs/sandbox.md
BlackboxServer 协议与适配器 docs/blackbox-server.md
Rollout 钩子与异步模式 docs/rollout.md
多 segment 训练与训练层 docs/training.md
Staleness 控制机制 docs/staleness.md
轨迹存储重构技术报告 docs/trajectory-storage-refactor-zh.md
多教师 MOPD docs/mopd.md
Harbor 集成 docs/harbor.md

💡 小结:Dressage 规模化能力的本质

一句话总结 Dressage 的设计哲学:Agent 是什么(whitebox/blackbox)、在哪里跑(bwrap/E2B)、如何记录(token 级 Proxy)三个问题彻底正交。token 级证据让训练数据无损,TITO 让长轨迹不错位,多 segment 展开让推理过程不浪费,TransferQueue 与 staleness 控制让系统在百 GiB 到 TiB 级别的数据面上依然可扩展。无论你训练的是导航 Agent、检索 Agent,还是 Claude Code 这样的生产级编码 Agent,Dressage 都提供同一条通往 RL 梯度流的通路。

登录后查看全文
Dressage