82.0%对61.3%:Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL的300回合评测如何设计与复现
82.0%对61.3%:Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL的300回合评测如何设计与复现
Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL 是 NVIDIA 发布的一个强化学习后训练(RLPT)舵向策略(DSRL steering actor),它在完全不改动冻结版 GR00T N1.7 基座策略权重的前提下,让 Unitree G1 人形机器人在 PushButton 任务(走到控制台按下红色按钮)上的成功率从 61.3% 提升到 82.0%。本文将拆解这套 300 回合评测的设计思路,并给出可照做的复现步骤。
一、先搞懂对象:这是一个"舵向策略",不是完整机器人模型
理解评测设计之前,先花一分钟理解它到底在干什么:
- 🧊 冻结的基座:GR00T N1.7(G1-Factory-GR00T-1.7)是一个 31.4 亿参数的视觉-语言-动作模型,生成动作的方式是对一份高斯噪声做"去噪"。
- 🎯 只训练一个小舵手:DSRL(Diffusion Steering with Reinforcement Learning)训练一个约 644 万参数的 Transformer 小网络,输入是机器人的 31 维关节状态 + 头相机图像的 768 维 DINOv2 特征,输出一个 [40, 35] 的"噪声张量"(边界 ±2)。它不采样噪声,而是替基座模型选择噪声。
- 🏭 评测任务:G1 Factory(IsaacLab-Arena)仿真环境中的 PushButton——机器人按英文指令 "Walk to the console and press the red button" 走到控制台,按下红色按钮。
一句话类比:不给"司机"(基座模型)重新培训,而是训练一个会打方向盘的副驾。
二、300 回合评测的设计:一场同种子的对照实验
评测结论是否可信,取决于对照组是否公平。这套评测的关键设计如下:
| 设计项 | 具体做法 | 为什么重要 |
|---|---|---|
| 评测集 | 300 个固定种子的回合:seeds 5050–5199 与 6000–6149 | 与训练用的种子、训练中期选 checkpoint 的种子完全不重叠,是真正的留出集 |
| 对照方式 | 同一批 300 个回合同时打给"裸基座"和"基座+舵向策略" | 同回合配对对比,消除场景随机性 |
| 判定标准 | 1000 个仿真步(约 20 秒)内按钮按压条件触发即成功 | 时限明确,避免长尾回合干扰 |
| 运行方式 | 一次只开一个场景(one scene at a time),舵向策略采用随机采样 | 贴近真实部署时的推理行为 |
| 传感器 | 原生 640×480 头相机图像,不做裁剪缩放 | 与训练分布一致 |
| 评测器 | RLPT 自带的 DSRL 评测器 | 注意:与 G1 Factory 官方公布的评测口径不同(见下文) |
另外一个容易被忽略的细节是 checkpoint 的选择:训练共跑了 80,000 步,过程中每约 5000 步做一次 20 回合的"训练内评测",共 17 次。最终发布的 72488/ checkpoint 是在第 72,488 步时以 65%(17 次中的最高分)入选的,而跑到末尾的第 80,001 步成功率反而回落到 45%——也就是说**"最后一个 checkpoint"并不一定是最好的**,完整的训练内评测轨迹记录在 evaluation_summary.json 中。
三、如何读懂结果:20.7 个百分点意味着什么
两个策略在同一 300 个留出回合上的得分:
| 策略 | 回合数 | 成功率 |
|---|---|---|
| GR00T N1.7 单独运行(冻结基座) | 300 | 61.3%(184/300) |
| GR00T N1.7 + DSRL 舵向策略 | 300 | 82.0%(246/300) |
- 📊 差值为 20.7 个百分点,95% 置信区间约为 +13.9 ~ +27.4 个百分点——区间不跨 0,说明提升在统计上是显著的,而非 300 回合的抽样运气。
- ⚠️ 你可能会在 G1 Factory 的官方资料里看到 PushButton 基座成功率为 42%,和这里的 61.3% 对不上。原因不是数据错了,而是评测口径不同:官方用的是 G1 Factory 自带的基座评测流程,本文口径用的是 RLPT 的 DSRL 评测器。跨评测器之间的数字不能直接互比。
四、复现 300 回合评测:从环境到命令
⏱️ 参考耗时:在一张 NVIDIA L40S(48GB)上,单场景评测 50 个回合约 45 分钟,300 个回合约 4.5 小时。
1. 环境准备
需要 Linux + NVIDIA GPU(Lovelace 及以上,如 L40S),以及 G1 Factory 仿真器:Isaac Sim 6.2、Isaac Lab 3.0、Python 3.12,配合 Isaac RLPT 仓库(Isaac RLPT v0.1)中的 G1 Factory 工作流(docs/pages/workflows/g1_arena.md)。
2. 下载两个 checkpoint
# 舵向策略(本仓库,包含 72488/ 下的策略文件)
git clone https://gitcode.com/hf_mirrors/nvidia/Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL
# 冻结的基座策略
hf download nvidia/G1-Factory-GR00T-1.7 --local-dir checkpoints/G1-Factory-GR00T-1.7
export POSTTRAIN_BASE_CKPT=$PWD/checkpoints/G1-Factory-GR00T-1.7
3. 先跑基线(Before)
在 Isaac RLPT 仓库中执行:
uv run bash example_workflows/g1_arena_posttraining/scripts/reproduce_results.sh base PushButton
4. 再跑舵向策略(After)
uv run bash example_workflows/g1_arena_posttraining/scripts/reproduce_results.sh rescore PushButton \
Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL/72488
✅ 每条命令会先对 50 个留出回合(seeds 5000–5049)打分,末尾输出一行包含 SR=<成功率>% 的结果。完整 300 回合评测按工作流文档中 5050–5199、6000–6149 两段种子执行,即可对上 82.0% / 61.3% 的数字。
补充:如果想复现训练本身,官方脚本是
reproduce_results.sh dsrl PushButton 0,并需追加algorithm.train_actor_with_prior_kl=true algorithm.latent_prior_std=0.63,即 README.md "Training" 一节所列配置。
五、验证结果可信:用校验和与指纹"对暗号"
发布包里每个文件都可校验,这也是评测可复现性的一部分:
| 文件 | 作用 |
|---|---|
| SHA256SUMS | 所有其他文件的 SHA-256 校验和,下载后逐条核对 |
| fingerprints.jsonl | 每次训练内评测和保存时 actor 权重的 SHA-256;发布 checkpoint 的 actor 指纹为 7afe19e2…,与参与 300 回合评测的 actor 一致 |
| evaluation_summary.json | 整个训练 run 的 17 次训练内 20 回合评测记录(即上文"选 72488 不选 final"的依据) |
| 72488/manifest.json | 该 checkpoint 的计数:253 个训练回合、72,488 个环境步、训练内成功率 65% |
| 72488/policy_state.pt / 72488/learner.pt | 发布的 actor 权重 / 完整 SAC learner 状态(actor、critics、优化器) |
六、复现常见坑:三个设置错一个,数字全错
- 舵向边界(bound)必须和训练一致:
dsrl.noise_action_bound必须为 2.0。换一个值会把所有舵向动作等比缩放,得到的成功率是无效的,而且不会报错——它只是"安静地"给你一个错误结果。 - 种子不要混用:训练用 seed 0,训练内评测用另一批种子,300 回合评测用 5050–5199 和 6000–6149。若误用训练或选模阶段出现过的种子,评测分数会虚高。
- 基座侧配置不要动:基座策略必须用它自带的 processor 与归一化统计量,舵向 actor 评测时保持随机采样;相机使用原生 640×480 帧。
🛡️ 最后提醒:该模型仅在仿真中训练和评测过,成功率数字不代表真实硬件上的安全或性能,落地前需做独立的安全与行为验证(详见 SAFETY_AND_SECURITY.md 与 EXPLAINABILITY.md)。
小结
这套 300 回合评测的核心是"同一批留出种子 + 同一评测器 + 成对打分",配合 95% 置信区间给出统计显著性,再靠 SHA-256 校验和与 actor 指纹把"跑出来的人"和"发布的人"对齐。理解了这三层设计,你就能把 82.0% 对 61.3% 从一个宣传数字,变成一条在自己 GPU 上可复现、可验证的结论。