从VLA到强化学习基座:G1-Factory-GR00T-1.7做RL后训练的完整进阶路线
从VLA到强化学习基座:G1-Factory-GR00T-1.7做RL后训练的完整进阶路线
G1-Factory-GR00T-1.7 是 NVIDIA 基于 GR00T N1.7 视觉-语言-动作(VLA)基座微调的人形机器人策略模型,面向 Unitree G1 在 G1 Factory 仿真中的 9 项工厂任务,并被官方明确定位为强化学习(RL)后训练的起点策略。本文带你完整走一遍:读懂模型架构、检查仓库关键配置、评估基线成功率,再按四步路线把它打磨成更强的 RL 后训练基座。
一、先搞清楚:G1-Factory-GR00T-1.7 到底是什么?
一句话概括:输入"头部相机图像 + 上身关节状态 + 英文指令",输出一段全身动作序列的 VLA 策略。
它的"来路"是这样的:
- 基座模型:
nvidia/GR00T-N1.7-3B(约 31.4 亿参数),视觉-语言骨干来自nvidia/Cosmos-Reason2-2B; - 微调数据:G1-Factory-Benchmark 中 900 条遥操作演示(9 个任务 × 每任务 100 条,LeRobot 格式,约 40 万帧 @ 50Hz);
- 任务场景:G1 Factory 的 9 个仿真任务——BoxLift、BoxLiftFloor、BoxTableToShelfPnP、DrillLift、DrillLiftObs、DrillPnP、PickDrillFromHolder、PushButton、PushShelfForward。
它的工作方式可以类比"先看再做":机器人用头部相机"看"一眼、感知自己上身 31 维关节状态、读一句英文指令,然后一次性预测 40 步、每步 35 维的动作块(左右臂与手、腰部关节目标 + 底盘高度指令 + 导航指令)。腿部动作由独立的全身平衡控制器接管,这正是人形机器人 RL 后训练最典型的"策略 + 平衡栈"分层结构。
💡 对做强化学习的人来说,这个模型最大的价值在于:VLA 提供了"语义理解 + 粗动作规划"能力,而 RL 负责在闭环交互中修正细节、突破演示数据的分布上限。
二、架构拆解:看懂你做 RL 后训练的"起点"
打开 config.json 可以看到模型核心配置,用通俗语言翻译如下:
| 模块 | 配置要点 | 对 RL 后训练的意义 |
|---|---|---|
| 语言骨干 | Cosmos-Reason2-2B,微调时冻结(tune_llm: false) |
指令理解能力稳定,RL 阶段可继续冻结以省显存 |
| 视觉编码器 | 微调(tune_visual: true),裁剪 230→缩放 256 |
决定对相机图像变化的鲁棒性,是 RL 探索的主战场之一 |
| VL 自注意力 | 4 层 vl_self_attention_cfg |
融合视觉与语言特征 |
| 动作生成头 | 32 层 flow-matching 动作 Transformer,num_inference_timesteps: 4(4 步去噪) |
生成 40 步动作块,RL 奖励信号需要与之对齐 |
| 训练配方 | state_dropout_prob: 0.2、bf16、Flash Attention |
状态随机丢弃让策略不过度依赖本体状态,天然更利于 RL 阶段的鲁棒探索 |
一个容易被忽略但很关键的细节:experiment_cfg/config.yaml 中有一个 add_rl_callback: false 字段——说明 Isaac-GR00T 的训练框架本身就内置了 RL 回调钩子,你只需要在框架侧开启,而不是自己从头搭 RL 管线。
三、开工前必查:仓库里的 5 个关键文件
RL 后训练能否顺利跑起来,往往取决于"检查点是否完整配套"。这个仓库的 README 强调:推理依赖归一化统计、本体映射和处理器配置,三者缺一不可。
- statistics.json:状态/动作的归一化统计(min/max/mean/std/分位数)。RL 环境中动作尺度必须与它一致,否则第一步动作就会"飞"。
- embodiment_id.json:本体标签映射,本模型使用
new_embodiment(id 10),加载策略时必须带上这个标签。 - processor_config.json:定义
ego_view图像、5 组状态键(left_arm/right_arm/left_hand/right_hand/waist)和 40 步动作块的模态配置。 - config.json:模型结构与超参总纲,
action_horizon: 40决定了 RL 中动作块的执行与奖励回传节奏。 - experiment_cfg/dataset_statistics.json:微调时的数据集统计,若你在 RL 前还要补一轮 SFT,这里就是参照基线。
⚠️ 官方特别提醒:不要自行缩放相机图像。模型期待原生 640×480 的头部相机画面,提前 resize 会降低成功率。
四、基线成绩单:哪些任务最值得用 RL 提分?
官方在 G1 Factory 自己的评测(每任务 100 回合、20 秒/回合)中给出了九任务成功率:
| 任务 | 成功率 | 任务 | 成功率 |
|---|---|---|---|
| BoxLift | 98% | DrillPnP | 69% |
| BoxLiftFloor | 96% | PickDrillFromHolder | 44% |
| BoxTableToShelfPnP | 77% | PushButton | 42% |
| DrillLift | 66% | PushShelfForward | 58% |
| DrillLiftObs | 75% | Overall | 69.4% |
这张表就是你的 RL 选题指南:BoxLift 类近饱和(>96%),继续投入回报有限;而 PushButton(42%)、PickDrillFromHolder(44%)、PushShelfForward(58%)这类涉及长程导航与力控的任务,恰恰是 RL 后训练最能拉开差距的地方。
五、RL 后训练四步进阶路线 🚀
第一步:搭建环境并验证基线可复现
- 参考运行栈:Isaac Sim 6.2 + Isaac Lab 3.0 + Python 3.12,单张 48GB 显存的 L40/L40S 即可同时跑仿真器与策略;
- 用 Isaac-GR00T 的 N1.7 代码加载检查点,务必使用
new_embodiment标签; - 跑一次 50 回合评测(官方约 45 分钟),把成功率与上表对账。基线复现不了,一切 RL 改动都无从谈起。
第二步:冻结语义层,开放动作层
沿用官方微调"冻语言、调视觉/投影器/动作头"的配方,RL 阶段建议:
- 继续冻结语言骨干(
tune_llm: false),把算力留给探索; - 将 4 步 flow-matching 去噪输出的 40 步动作块作为 RL 的动作空间单位,奖励按动作块粒度回传;
- 保持
state_dropout_prob: 0.2的设置,帮助策略学会"少依赖本体状态、多看相机"。
第三步:设计奖励——优先用环境自带信号
G1 Factory 任务自带成功判定(如 PushButton 要求 20 秒内触发成功条件),建议奖励分层:
- 稀疏主奖励:任务成功/失败(0/1),保证不偏离任务目标;
- 密集塑形奖励:与目标的距离、物体位姿误差等,缓解稀疏奖励的探索难题;
- 安全惩罚:碰撞、物体掉落、超出关节限位——EXPLAINABILITY.md 中官方把"碰撞与掉落"列为主要风险项,奖励里必须有对应约束。
第四步:评估闭环与安全回滚
- 每轮 RL 后在同一 100 回合评测协议下回归九任务全表,警惕"顾此失彼"(RL 提升 PushButton 的同时不能把 BoxLift 从 98% 打崩);
- 保留基线检查点,用 SHA256SUMS 校验文件完整性,随时可回滚;
- 记住官方红线:该模型仅在仿真中验证过,上真机前必须做独立的行为与安全认证。
六、新手最容易踩的 3 个坑
- 归一化统计对不上:换了动作空间或数据源却继续用旧 statistics.json,动作尺度错乱,机器人"抽搐"。→ 换数据就重算统计并同步更新处理器配置。
- 图像被预处理过:把 640×480 画面先 resize 再喂模型,成功率肉眼可见地掉。→ 让模型自己的 processor 处理原始画面。
- 忘记本体标签:加载时不带
new_embodiment标签,状态/动作维度对不上。→ 对照 embodiment_id.json 检查。
七、总结:一条从 VLA 到 RL 的清晰进阶路径 🧭
把 G1-Factory-GR00T-1.7 当作 RL 后训练基座,本质上是在复用三层能力:
- 语义层(冻结的 Cosmos-Reason2-2B):听懂指令,不折腾;
- 感知层(微调过的视觉编码器):看得到环境变化;
- 动作层(flow-matching 动作 Transformer):40 步动作块生成,接受 RL 奖励信号的塑形。
按"复现基线 → 冻语义、放动作 → 分层奖励 → 全表回归"四步走,配合九任务成功率表锁定短板任务,你就拥有了一条从 VLA 到强化学习基座的完整进阶路线。九任务平均 69.4% 的成绩,就是 RL 后训练最好的起跑线。