新手必读:Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL如何把Unitree G1成功率从61.3%提升到82%

原创2026-11-08 15:52:041,664 阅读
文章标签:人工智能强化学习具身智能机器人微调多模态

新手必读:Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL如何把Unitree G1成功率从61.3%提升到82%

如果你在用 GR00T 视觉语言动作大模型做机器人强化学习后训练,这个项目值得一读。Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL 是 NVIDIA 发布的 DSRL 转向策略(steering policy)参考检查点:它不修改冻结的 GR00T N1.7 基座模型的任何一个权重,仅用一个约 640 万参数的小网络"选择噪声",就在 G1 Factory 的 PushButton 任务上把 Unitree G1 的人形机器人按按钮成功率从 61.3% 提升到 82.0%(300 个固定种子回测集,246/300 vs 184/300)。本文带你理解它的工作原理、关键训练配置,以及如何在本地复现评估。

项目定位:RLPT 工作流的"后训练参考策略"

🤖 先明确它在做什么:

要素 说明
任务 G1 Factory(IsaacLab-Arena)PushButton:Unitree G1 走到操作台前按下红色按钮
基座模型 冻结的 GR00T N1.7 G1 策略(G1-Factory-GR00T-1.7)
本项目 一个训练好的 DSRL 转向 actor,作为 RLPT 工作流的参考后训练策略
许可证 NVIDIA Open Model License,可商用

GR00T 生成动作的方式是对高斯噪声做"去噪"。DSRL(Diffusion Steering with Reinforcement Learning)的思路是:不去重训整个大模型,而是训练一个小 actor 来主动选择这份噪声,从而把冻结策略"引导"向更好的动作。基座策略约 31.4 亿参数保持完全冻结,本项目只贡献 6,442,182 个参数,推理时也只有这个小 actor 在额外工作。

核心原理:小网络如何"拨动"大模型

📊 数据流向可以概括为三步:

  1. 感知:actor(Transformer + tanh 挤压高斯输出)读取两个输入——机器人 31 维上半身关节状态,以及头相机 640×480 图像经 DINOv2 提取的 768 维嵌入。
  2. 选噪:actor 输出一个 [40, 35] 的转向噪声张量,数值被限制在 [-2, 2] 区间。
  3. 出动作:冻结的 GR00T 以这份噪声为起点去噪,生成 40 步、每步 35 维的动作块(左右臂 7+7、双手 7+7、腰 3、机身高度 1、导航 3);腿部由独立的全身平衡控制器完成。

训练使用 SAC(soft actor-critic),奖励极其稀疏:任务成功得 1 分,失败得 0 分。KL 正则项把噪声拉回标准差 0.63 的高斯先验附近,防止转向过度。这套完整说明见 EXPLAINABILITY.md。

成功率提升:61.3% → 82.0% 是如何测出来的

🎯 评估非常严格,值得新手学习:

  • 同一批回测集:两条策略都在同样的 300 个固定种子回合(5050–5199 与 6000–6149)上打分,且这些种子既未参与训练,也未用于挑选检查点;
  • 统一判定标准:1000 步仿真(约 20 秒)内触发"按钮被按下"即算成功;
  • 一次一个场景,actor 采用随机采样评估。
策略 回合数 成功率
仅 GR00T N1.7(冻结基座) 300 61.3%(184/300)
GR00T N1.7 + 本转向策略 300 82.0%(246/300)

差异为 20.7 个百分点(95% 置信区间约 +13.9 ~ +27.4)。需要提醒的是:G1 Factory 官方公开的基线评估报告的是 42%,口径不同,不要直接对比。训练过程中的 20 回测回合评估记录在 evaluation_summary.json,可以看到成功率在 30%~65% 之间波动,发布检查点正是在训练中期评估取得最好成绩(65%)时选出的。

关键训练配置一览

配置项 取值
算法 DSRL + SAC(algorithm=dsrl_sac)
训练步数 80,000 步中的 72,488 步
训练数据 253 个仿真回合、72,488 步 PushButton 经验
转向边界 dsrl.noise_action_bound=2.0
actor 初始化 均值 0,policy.log_std_init=-0.46
奖励 成功 1 分,失败 0 分
熵系数 固定 0.05
KL 先验正则 高斯先验,标准差 0.63
每决策噪声 latent 数 training.chunk_size=40
随机种子 0

⚠️ 一个新手最容易踩的坑:评估时的 dsrl.noise_action_bound 必须与训练时一致(2.0),边界不同会等比重标定所有转向动作,测出来的成功率是错的。

如何下载检查点并复现评估

📦 本仓库就是模型权重仓库,核心文件在 72488/ 目录(命名取自该检查点对应的环境步数):

文件 内容
72488/learner.pt 完整 SAC 学习状态(actor、critic、优化器)
72488/policy_state.pt 发布的 actor 权重
72488/manifest.json 步数计数器、253 个训练回合、65% 的训练中评估记录

下载方式(git clone 模型仓库):

git clone https://gitcode.com/hf_mirrors/nvidia/Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL

下载后可用 SHA256SUMS 校验文件完整性。

复现评估需要在 Isaac RLPT 仓库中、并安装 G1 Factory 仿真环境(Isaac Sim 6.2 + Isaac Lab 3.0,Python 3.12,Linux)。每条命令对 50 个回测回合打分,结尾输出一行 SR=<成功率>%:

# Before:仅冻结基座策略
uv run bash example_workflows/g1_arena_posttraining/scripts/reproduce_results.sh base PushButton

# After:冻结基座 + 本转向检查点
uv run bash example_workflows/g1_arena_posttraining/scripts/reproduce_results.sh rescore PushButton \
  checkpoints/Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL/72488

硬件参考:单张 48GB 显存的 GPU(如 Ada Lovelace L40S)即可同时跑仿真器、基座策略与 actor,50 回合单场景评估约 45 分钟。

其他文件与可信度说明

仓库还提供了完整的"指纹"链路:fingerprints.jsonl 记录了每次评估与保存时 actor 的 SHA-256,本发布检查点的 actor 指纹为 7afe19e2…,与评估所用 actor 完全一致——这意味着你下载到的权重就是测出 82% 的那个。治理文件 BIAS.md、PRIVACY.md、SAFETY_AND_SECURITY.md 与 LICENSE 也一并放在根目录。

最后提醒两条使用边界:

  • 本模型仅在仿真中训练与评估,未在任何真实硬件上验证,不可直接部署到物理机器人;
  • 它面向的是与训练分布接近的 PushButton 场景,换场景、换光照或换任务时性能可能下降,建议先用同样口径的评估确认,再考虑迁移。

对想研究"冻结大模型 + 轻量后训练"路线的读者来说,这个仓库是一个配置、数据、指纹、校验都完整公开的可复现实验样本,建议配合 README.md 全文阅读。

登录后查看全文
Isaac-RLPT-GR00T-1.7-G1-Factory-PushButton-DSRL