82.0%对61.3%:Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL的300回合评测如何设计与复现

原创2026-11-08 10:47:461,701 阅读
文章标签:人工智能强化学习具身智能机器人微调多模态

82.0%对61.3%:Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL的300回合评测如何设计与复现

Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL 是 NVIDIA 发布的一个强化学习后训练(RLPT)舵向策略(DSRL steering actor),它在完全不改动冻结版 GR00T N1.7 基座策略权重的前提下,让 Unitree G1 人形机器人在 PushButton 任务(走到控制台按下红色按钮)上的成功率从 61.3% 提升到 82.0%。本文将拆解这套 300 回合评测的设计思路,并给出可照做的复现步骤。

一、先搞懂对象:这是一个"舵向策略",不是完整机器人模型

理解评测设计之前,先花一分钟理解它到底在干什么:

  • 🧊 冻结的基座:GR00T N1.7(G1-Factory-GR00T-1.7)是一个 31.4 亿参数的视觉-语言-动作模型,生成动作的方式是对一份高斯噪声做"去噪"。
  • 🎯 只训练一个小舵手:DSRL(Diffusion Steering with Reinforcement Learning)训练一个约 644 万参数的 Transformer 小网络,输入是机器人的 31 维关节状态 + 头相机图像的 768 维 DINOv2 特征,输出一个 [40, 35] 的"噪声张量"(边界 ±2)。它不采样噪声,而是替基座模型选择噪声。
  • 🏭 评测任务:G1 Factory(IsaacLab-Arena)仿真环境中的 PushButton——机器人按英文指令 "Walk to the console and press the red button" 走到控制台,按下红色按钮。

一句话类比:不给"司机"(基座模型)重新培训,而是训练一个会打方向盘的副驾。

二、300 回合评测的设计:一场同种子的对照实验

评测结论是否可信,取决于对照组是否公平。这套评测的关键设计如下:

设计项 具体做法 为什么重要
评测集 300 个固定种子的回合:seeds 5050–5199 与 6000–6149 与训练用的种子、训练中期选 checkpoint 的种子完全不重叠,是真正的留出集
对照方式 同一批 300 个回合同时打给"裸基座"和"基座+舵向策略" 同回合配对对比,消除场景随机性
判定标准 1000 个仿真步(约 20 秒)内按钮按压条件触发即成功 时限明确,避免长尾回合干扰
运行方式 一次只开一个场景(one scene at a time),舵向策略采用随机采样 贴近真实部署时的推理行为
传感器 原生 640×480 头相机图像,不做裁剪缩放 与训练分布一致
评测器 RLPT 自带的 DSRL 评测器 注意:与 G1 Factory 官方公布的评测口径不同(见下文)

另外一个容易被忽略的细节是 checkpoint 的选择:训练共跑了 80,000 步,过程中每约 5000 步做一次 20 回合的"训练内评测",共 17 次。最终发布的 72488/ checkpoint 是在第 72,488 步时以 65%(17 次中的最高分)入选的,而跑到末尾的第 80,001 步成功率反而回落到 45%——也就是说**"最后一个 checkpoint"并不一定是最好的**,完整的训练内评测轨迹记录在 evaluation_summary.json 中。

三、如何读懂结果:20.7 个百分点意味着什么

两个策略在同一 300 个留出回合上的得分:

策略 回合数 成功率
GR00T N1.7 单独运行(冻结基座) 300 61.3%(184/300)
GR00T N1.7 + DSRL 舵向策略 300 82.0%(246/300)
  • 📊 差值为 20.7 个百分点,95% 置信区间约为 +13.9 ~ +27.4 个百分点——区间不跨 0,说明提升在统计上是显著的,而非 300 回合的抽样运气。
  • ⚠️ 你可能会在 G1 Factory 的官方资料里看到 PushButton 基座成功率为 42%,和这里的 61.3% 对不上。原因不是数据错了,而是评测口径不同:官方用的是 G1 Factory 自带的基座评测流程,本文口径用的是 RLPT 的 DSRL 评测器。跨评测器之间的数字不能直接互比。

四、复现 300 回合评测:从环境到命令

⏱️ 参考耗时:在一张 NVIDIA L40S(48GB)上,单场景评测 50 个回合约 45 分钟,300 个回合约 4.5 小时。

1. 环境准备

需要 Linux + NVIDIA GPU(Lovelace 及以上,如 L40S),以及 G1 Factory 仿真器:Isaac Sim 6.2、Isaac Lab 3.0、Python 3.12,配合 Isaac RLPT 仓库(Isaac RLPT v0.1)中的 G1 Factory 工作流(docs/pages/workflows/g1_arena.md)。

2. 下载两个 checkpoint

# 舵向策略(本仓库,包含 72488/ 下的策略文件)
git clone https://gitcode.com/hf_mirrors/nvidia/Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL

# 冻结的基座策略
hf download nvidia/G1-Factory-GR00T-1.7 --local-dir checkpoints/G1-Factory-GR00T-1.7
export POSTTRAIN_BASE_CKPT=$PWD/checkpoints/G1-Factory-GR00T-1.7

3. 先跑基线(Before)

在 Isaac RLPT 仓库中执行:

uv run bash example_workflows/g1_arena_posttraining/scripts/reproduce_results.sh base PushButton

4. 再跑舵向策略(After)

uv run bash example_workflows/g1_arena_posttraining/scripts/reproduce_results.sh rescore PushButton \
  Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL/72488

✅ 每条命令会先对 50 个留出回合(seeds 5000–5049)打分,末尾输出一行包含 SR=<成功率>% 的结果。完整 300 回合评测按工作流文档中 5050–5199、6000–6149 两段种子执行,即可对上 82.0% / 61.3% 的数字。

补充:如果想复现训练本身,官方脚本是 reproduce_results.sh dsrl PushButton 0,并需追加 algorithm.train_actor_with_prior_kl=true algorithm.latent_prior_std=0.63,即 README.md "Training" 一节所列配置。

五、验证结果可信:用校验和与指纹"对暗号"

发布包里每个文件都可校验,这也是评测可复现性的一部分:

文件 作用
SHA256SUMS 所有其他文件的 SHA-256 校验和,下载后逐条核对
fingerprints.jsonl 每次训练内评测和保存时 actor 权重的 SHA-256;发布 checkpoint 的 actor 指纹为 7afe19e2…,与参与 300 回合评测的 actor 一致
evaluation_summary.json 整个训练 run 的 17 次训练内 20 回合评测记录(即上文"选 72488 不选 final"的依据)
72488/manifest.json 该 checkpoint 的计数:253 个训练回合、72,488 个环境步、训练内成功率 65%
72488/policy_state.pt / 72488/learner.pt 发布的 actor 权重 / 完整 SAC learner 状态(actor、critics、优化器)

六、复现常见坑:三个设置错一个,数字全错

  1. 舵向边界(bound)必须和训练一致:dsrl.noise_action_bound 必须为 2.0。换一个值会把所有舵向动作等比缩放,得到的成功率是无效的,而且不会报错——它只是"安静地"给你一个错误结果。
  2. 种子不要混用:训练用 seed 0,训练内评测用另一批种子,300 回合评测用 5050–5199 和 6000–6149。若误用训练或选模阶段出现过的种子,评测分数会虚高。
  3. 基座侧配置不要动:基座策略必须用它自带的 processor 与归一化统计量,舵向 actor 评测时保持随机采样;相机使用原生 640×480 帧。

🛡️ 最后提醒:该模型仅在仿真中训练和评测过,成功率数字不代表真实硬件上的安全或性能,落地前需做独立的安全与行为验证(详见 SAFETY_AND_SECURITY.md 与 EXPLAINABILITY.md)。

小结

这套 300 回合评测的核心是"同一批留出种子 + 同一评测器 + 成对打分",配合 95% 置信区间给出统计显著性,再靠 SHA-256 校验和与 actor 指纹把"跑出来的人"和"发布的人"对齐。理解了这三层设计,你就能把 82.0% 对 61.3% 从一个宣传数字,变成一条在自己 GPU 上可复现、可验证的结论。

登录后查看全文
Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL