G1-Factory-GR00T-1.7训练配置深度解读:config.yaml中state dropout与分位数归一化的隐藏细节

原创2026-11-10 10:47:291,602 阅读
文章标签:人工智能具身智能机器人多模态计算机视觉深度学习

G1-Factory-GR00T-1.7训练配置深度解读:config.yaml中state dropout与分位数归一化的隐藏细节

G1-Factory-GR00T-1.7 是 NVIDIA 为 Unitree G1 人形机器人微调的 GR00T N1.7 视觉-语言-动作(VLA)策略模型。这篇文章带你拆解它训练配置 experiment_cfg/config.yaml 中两个容易被忽略的“隐藏细节”——state_dropout_prob(状态 dropout)与基于 q01/q99 分位数的归一化方式,以及它们背后的一套统计文件体系。

1️⃣ 项目与配置文件速览

这个 checkpoint 在 9 个 G1 Factory 仿真任务上微调了 20,000 步(9 组遥操作数据集、8 卡、batch size 32、seed 42,见 README.md 的 Training Dataset 章节)。微调的完整“底稿”都在 experiment_cfg/ 目录里:

文件 作用
experiment_cfg/config.yaml 微调训练的主配置(输入)
experiment_cfg/final_model_config.json 训练结束解析后的模型配置(输出)
experiment_cfg/dataset_statistics.json 本数据集上重新计算的 state/action 统计量
statistics.json 随 checkpoint 发布的推理用归一化统计
processor_config.json 推理时的模态与归一化开关
embodiment_id.json 本体(embodiment)编号映射

理解本文的两个关键词之前,先记住一个事实:模型的输入包括一帧头顶相机图像(ego_view)、31 维上半身关节状态(左臂 7 + 右臂 7 + 左手 7 + 右手 7 + 腰部 3)和一句英文任务指令,输出是 40 步、每步 35 维的动作块。

2️⃣ state dropout:训练时以 20% 概率“屏蔽”机器人本体状态

打开 config.yaml,在 model 段末尾有一组很关键的开关:

state_dropout_prob: 0.2   # L64
exclude_state: false      # L65
use_mean_std: false       # L66

state_dropout_prob: 0.2 在做什么?

state_dropout_prob: 0.2 表示:训练时每个样本有 20% 的概率,把 31 维关节状态输入整体丢掉,让策略在那一个 step 里只能靠“头顶图像 + 语言指令”做预测。这与视觉 Transformer 里对 token 做 dropout 是同一思想,只不过这里丢的是“本体感觉”这一整路输入。

它带来的收益很实际:

  • 鲁棒性:真实部署中关节编码器可能短暂丢帧或噪声偏大,模型不会因为“看不见状态”就崩掉;
  • 防偷懒:迫使策略真正从图像中理解机器人姿态,而不是无脑信任 proprioception(本体感知)数值。

三个开关要放在一起看

  • exclude_state: false:没有从结构上删除状态输入——状态默认是用的,只是训练时按概率随机丢弃。如果设为 true,状态通道会被完全移除;
  • state_dropout_prob 在 config.json、final_model_config.json 和 processor_config.json 中被四处记录为同一个值 0.2,说明它是模型级属性,推理时同样参与管线(推理阶段通常不触发丢弃,训练/推理行为由框架按 mode 区分);
  • 注意它和视觉增广是独立的两条线:图像走 use_albumentations_transforms: true 的随机裁剪与色彩抖动(config.yaml L27-L29),状态走 dropout,互不干扰。

3️⃣ 分位数归一化:为什么不用均值/标准差,而用 q01/q99?

config.yaml L32 和 L66 是两行一组的“隐藏细节”:

use_percentiles: true    # L32
use_mean_std: false      # L66

这意味着 state 和 action 的归一化不走 z-score(均值/标准差),而是走分位数区间。

两种方式的直观区别

方式 边界来源 缺点
mean/std 归一化 均值 ± 标准差 少数极端帧会拉偏均值和方差,把大多数正常值压得很窄
q01/q99 分位数归一化 第 1% 与第 99% 分位点 天然“砍掉”两端各 1% 的离群值,98% 的数据稳定落在归一化区间内

对于机器人数据,个别急停、碰撞恢复帧的关节值可能非常极端。用 1%~99% 分位数做缩放边界,比 mean/std 稳健得多——这正是 GR00T 系列默认选择它的理由。

统计量都存在哪里?

训练时先扫一遍数据集算出每个模态组、每个维度的统计量,存进 experiment_cfg/dataset_statistics.json。以 new_embodiment 的腰部状态(waist)为例,文件里同时保存了 6 组向量:

字段 含义 waist 示例(3 维)
min / max 最小/最大值 -0.186 / 0.197
mean / std 均值/标准差 约 0.003 / 0.024
q01 / q99 1% 与 99% 分位点 -0.076 / 0.141

可以看到 q01/q99 明显比 min/max 更“收敛”,离群值被挡在归一化边界之外。同样的统计量也嵌入了发布包:推理时 checkpoint 依赖 statistics.json(其中 new_embodiment 段与训练时完全一致)、processor_config.json 与 embodiment_id.json(new_embodiment 对应编号 10)三者配套完成反归一化,缺一不可。

两个配套细节

  • clip_outliers: true(processor_config.json L1178):归一化后落在区间外的值会被裁剪,保证输入永远在 [-1, 1] 量级的安全范围内;
  • override_pretraining_statistics: true(config.yaml L200):微调时不沿用 GR00T-N1.7-3B 基座预训练的统计量,而是用本次 9 个任务的 900 条演示重新计算——这对换本体微调是必要动作,否则不同机器人的关节分布差异会直接污染归一化。

4️⃣ 三份配置对照:输入、输出与“最终真相”

仓库里实际有三份相近的配置,对比它们能看清哪些参数是“被解析后修正”的:

参数 config.yaml(微调输入) final_model_config.json(解析输出)
diffusion_model_cfg.num_layers 16 32
select_layer 12 16
use_relative_action true false

final_model_config.json 记录的 32 层 flow-matching 动作 Transformer 与 README.md 的架构描述(“32-layer flow-matching action transformer”)完全一致——也就是说,加载 3B 基座权重后,部分结构参数以 checkpoint 为准被重新解析。此外 experiment_cfg/conf.yaml 与 config.yaml 仅差枚举大小写(ABSOLUTE vs absolute)和末尾两行冗余的 max_steps/save_steps,可以理解为同一配置的落盘副本。

💡 实用建议:复现或二开时,以 config.yaml 作为训练起点,但推理管线的权威参数以发布根目录的 config.json、processor_config.json 和 statistics.json 为准。

5️⃣ 一句话总结(太长不看版)

  • 🎯 state_dropout_prob: 0.2:训练时 20% 概率丢掉关节状态,逼模型“看图 + 听话”也能干活,换取真实场景的鲁棒性;
  • 📊 use_percentiles: true + use_mean_std: false:用 q01/q99 分位数代替均值/方差做归一化边界,天然抗离群值,且统计量随 checkpoint 一起发布供推理反归一化;
  • 🔁 override_pretraining_statistics: true:换本体微调必须重算统计量,别继承基座模型的旧分布。

掌握这三个开关,你就基本读懂了 G1-Factory-GR00T-1.7 状态输入管线的设计意图,也拿到了自己微调新机器人时的可复用模板。

登录后查看全文
G1-Factory-GR00T-1.7