从VLA到强化学习基座:G1-Factory-GR00T-1.7做RL后训练的完整进阶路线

原创2026-11-10 22:13:091,605 阅读
文章标签:人工智能具身智能机器人多模态计算机视觉深度学习

从VLA到强化学习基座:G1-Factory-GR00T-1.7做RL后训练的完整进阶路线

G1-Factory-GR00T-1.7 是 NVIDIA 基于 GR00T N1.7 视觉-语言-动作(VLA)基座微调的人形机器人策略模型,面向 Unitree G1 在 G1 Factory 仿真中的 9 项工厂任务,并被官方明确定位为强化学习(RL)后训练的起点策略。本文带你完整走一遍:读懂模型架构、检查仓库关键配置、评估基线成功率,再按四步路线把它打磨成更强的 RL 后训练基座。

一、先搞清楚:G1-Factory-GR00T-1.7 到底是什么?

一句话概括:输入"头部相机图像 + 上身关节状态 + 英文指令",输出一段全身动作序列的 VLA 策略。

它的"来路"是这样的:

  • 基座模型:nvidia/GR00T-N1.7-3B(约 31.4 亿参数),视觉-语言骨干来自 nvidia/Cosmos-Reason2-2B;
  • 微调数据:G1-Factory-Benchmark 中 900 条遥操作演示(9 个任务 × 每任务 100 条,LeRobot 格式,约 40 万帧 @ 50Hz);
  • 任务场景:G1 Factory 的 9 个仿真任务——BoxLift、BoxLiftFloor、BoxTableToShelfPnP、DrillLift、DrillLiftObs、DrillPnP、PickDrillFromHolder、PushButton、PushShelfForward。

它的工作方式可以类比"先看再做":机器人用头部相机"看"一眼、感知自己上身 31 维关节状态、读一句英文指令,然后一次性预测 40 步、每步 35 维的动作块(左右臂与手、腰部关节目标 + 底盘高度指令 + 导航指令)。腿部动作由独立的全身平衡控制器接管,这正是人形机器人 RL 后训练最典型的"策略 + 平衡栈"分层结构。

💡 对做强化学习的人来说,这个模型最大的价值在于:VLA 提供了"语义理解 + 粗动作规划"能力,而 RL 负责在闭环交互中修正细节、突破演示数据的分布上限。

二、架构拆解:看懂你做 RL 后训练的"起点"

打开 config.json 可以看到模型核心配置,用通俗语言翻译如下:

模块 配置要点 对 RL 后训练的意义
语言骨干 Cosmos-Reason2-2B,微调时冻结(tune_llm: false) 指令理解能力稳定,RL 阶段可继续冻结以省显存
视觉编码器 微调(tune_visual: true),裁剪 230→缩放 256 决定对相机图像变化的鲁棒性,是 RL 探索的主战场之一
VL 自注意力 4 层 vl_self_attention_cfg 融合视觉与语言特征
动作生成头 32 层 flow-matching 动作 Transformer,num_inference_timesteps: 4(4 步去噪) 生成 40 步动作块,RL 奖励信号需要与之对齐
训练配方 state_dropout_prob: 0.2、bf16、Flash Attention 状态随机丢弃让策略不过度依赖本体状态,天然更利于 RL 阶段的鲁棒探索

一个容易被忽略但很关键的细节:experiment_cfg/config.yaml 中有一个 add_rl_callback: false 字段——说明 Isaac-GR00T 的训练框架本身就内置了 RL 回调钩子,你只需要在框架侧开启,而不是自己从头搭 RL 管线。

三、开工前必查:仓库里的 5 个关键文件

RL 后训练能否顺利跑起来,往往取决于"检查点是否完整配套"。这个仓库的 README 强调:推理依赖归一化统计、本体映射和处理器配置,三者缺一不可。

  1. statistics.json:状态/动作的归一化统计(min/max/mean/std/分位数)。RL 环境中动作尺度必须与它一致,否则第一步动作就会"飞"。
  2. embodiment_id.json:本体标签映射,本模型使用 new_embodiment(id 10),加载策略时必须带上这个标签。
  3. processor_config.json:定义 ego_view 图像、5 组状态键(left_arm/right_arm/left_hand/right_hand/waist)和 40 步动作块的模态配置。
  4. config.json:模型结构与超参总纲,action_horizon: 40 决定了 RL 中动作块的执行与奖励回传节奏。
  5. experiment_cfg/dataset_statistics.json:微调时的数据集统计,若你在 RL 前还要补一轮 SFT,这里就是参照基线。

⚠️ 官方特别提醒:不要自行缩放相机图像。模型期待原生 640×480 的头部相机画面,提前 resize 会降低成功率。

四、基线成绩单:哪些任务最值得用 RL 提分?

官方在 G1 Factory 自己的评测(每任务 100 回合、20 秒/回合)中给出了九任务成功率:

任务 成功率 任务 成功率
BoxLift 98% DrillPnP 69%
BoxLiftFloor 96% PickDrillFromHolder 44%
BoxTableToShelfPnP 77% PushButton 42%
DrillLift 66% PushShelfForward 58%
DrillLiftObs 75% Overall 69.4%

这张表就是你的 RL 选题指南:BoxLift 类近饱和(>96%),继续投入回报有限;而 PushButton(42%)、PickDrillFromHolder(44%)、PushShelfForward(58%)这类涉及长程导航与力控的任务,恰恰是 RL 后训练最能拉开差距的地方。

五、RL 后训练四步进阶路线 🚀

第一步:搭建环境并验证基线可复现

  • 参考运行栈:Isaac Sim 6.2 + Isaac Lab 3.0 + Python 3.12,单张 48GB 显存的 L40/L40S 即可同时跑仿真器与策略;
  • 用 Isaac-GR00T 的 N1.7 代码加载检查点,务必使用 new_embodiment 标签;
  • 跑一次 50 回合评测(官方约 45 分钟),把成功率与上表对账。基线复现不了,一切 RL 改动都无从谈起。

第二步:冻结语义层,开放动作层

沿用官方微调"冻语言、调视觉/投影器/动作头"的配方,RL 阶段建议:

  • 继续冻结语言骨干(tune_llm: false),把算力留给探索;
  • 将 4 步 flow-matching 去噪输出的 40 步动作块作为 RL 的动作空间单位,奖励按动作块粒度回传;
  • 保持 state_dropout_prob: 0.2 的设置,帮助策略学会"少依赖本体状态、多看相机"。

第三步:设计奖励——优先用环境自带信号

G1 Factory 任务自带成功判定(如 PushButton 要求 20 秒内触发成功条件),建议奖励分层:

  1. 稀疏主奖励:任务成功/失败(0/1),保证不偏离任务目标;
  2. 密集塑形奖励:与目标的距离、物体位姿误差等,缓解稀疏奖励的探索难题;
  3. 安全惩罚:碰撞、物体掉落、超出关节限位——EXPLAINABILITY.md 中官方把"碰撞与掉落"列为主要风险项,奖励里必须有对应约束。

第四步:评估闭环与安全回滚

  • 每轮 RL 后在同一 100 回合评测协议下回归九任务全表,警惕"顾此失彼"(RL 提升 PushButton 的同时不能把 BoxLift 从 98% 打崩);
  • 保留基线检查点,用 SHA256SUMS 校验文件完整性,随时可回滚;
  • 记住官方红线:该模型仅在仿真中验证过,上真机前必须做独立的行为与安全认证。

六、新手最容易踩的 3 个坑

  1. 归一化统计对不上:换了动作空间或数据源却继续用旧 statistics.json,动作尺度错乱,机器人"抽搐"。→ 换数据就重算统计并同步更新处理器配置。
  2. 图像被预处理过:把 640×480 画面先 resize 再喂模型,成功率肉眼可见地掉。→ 让模型自己的 processor 处理原始画面。
  3. 忘记本体标签:加载时不带 new_embodiment 标签,状态/动作维度对不上。→ 对照 embodiment_id.json 检查。

七、总结:一条从 VLA 到 RL 的清晰进阶路径 🧭

把 G1-Factory-GR00T-1.7 当作 RL 后训练基座,本质上是在复用三层能力:

  • 语义层(冻结的 Cosmos-Reason2-2B):听懂指令,不折腾;
  • 感知层(微调过的视觉编码器):看得到环境变化;
  • 动作层(flow-matching 动作 Transformer):40 步动作块生成,接受 RL 奖励信号的塑形。

按"复现基线 → 冻语义、放动作 → 分层奖励 → 全表回归"四步走,配合九任务成功率表锁定短板任务,你就拥有了一条从 VLA 到强化学习基座的完整进阶路线。九任务平均 69.4% 的成绩,就是 RL 后训练最好的起跑线。

登录后查看全文
G1-Factory-GR00T-1.7