拆解GR00T-N1.7-DROID后训练实验:64张GB200 + DeepSpeed ZeRO-2 + WSD调度如何训好人形机器人策略模型
拆解GR00T-N1.7-DROID后训练实验:64张GB200 + DeepSpeed ZeRO-2 + WSD调度如何训好人形机器人策略模型
引言
GR00T-N1.7-DROID 是 NVIDIA Isaac GR00T 机器人大脑模型家族的官方后训练版本:在预训练的 GR00T N1.7 基座上,用大规模真实机器人数据集 DROID 做后训练(post-training),让机器人学会根据语言指令和相机画面执行抓取、放置等操作。这份仓库除了模型权重,还罕见地留下了完整的实验配置,让我们可以逐行拆解这次后训练的工程细节:64 张 GB200 的算力规模、DeepSpeed ZeRO-2 的显存策略,以及 WSD 学习率调度。
1️⃣ 先认识这个仓库:一个“训练痕迹完整”的模型仓库 📦
多数模型仓库只放权重,而这个仓库把“训练配置 + 数据统计算法 + 权重索引”都保留了,关键文件一览:
| 文件 | 作用 |
|---|---|
| README.md | 模型卡:架构、算力与碳排放、评估方式 |
| experiment_cfg/config.yaml | 完整训练快照:数据、模型、超参数 |
| experiment_cfg/conf.yaml | 同一次实验的原始配置(未序列化展开版) |
| experiment_cfg/dataset_statistics.json | 训练数据的分位数统计(q01/q99) |
| statistics.json | 模型随行的状态/动作归一化统计 |
| embodiment_id.json | 机器人形态(embodiment)ID 映射表 |
| config.json | 模型结构参数(3B 参数量、bfloat16、DiT 动作头) |
| model.safetensors.index.json | 权重的分片索引 |
从 model.safetensors.index.json 可以看到模型总参数量为 3,144,016,000(约 31.4 亿),权重以 bfloat16 存储,总大小约 6.9 GB,分成 model-00001-of-00002.safetensors 和 model-00002-of-00002.safetensors 两个分片。
2️⃣ 算力账本:64 张 GB200 是什么规模 🔋
README.md 中有一节少见的“内部算力披露”,直接给出了硬件与能耗:
Total kWh:
64 GB200 nodes * 4 gpus per node x 1200W x 0.001 x 0.8 x 120 hours * 1.4 = 41288 kWh
Total Emission:
410.5 * 41288 * 0.000001 = 16.949 tCO2e
翻译一下这笔账:
- 64 台 GB200 节点,每节点 4 张 GPU,即 256 个 GPU 计算单元;
- 单卡功率按 1200W 估算,乘以 0.8 的利用率系数与 1.4 的系统开销系数;
- 整个训练约 120 小时,总耗电约 41,288 kWh,折合碳排 16.949 吨 CO₂e(电网因子 410.5 g/kWh)。
对新手来说,这个数字给了一个直观参照:一次 3B 模型的后训练,耗电量大约相当于一个小型社区几个月的用电量。
3️⃣ 并行策略:为什么选 DeepSpeed ZeRO-2?
experiment_cfg/config.yaml 里与并行相关的配置只有寥寥几行,信息量却很大:
num_gpus: 64
deepspeed_stage: 2
gradient_checkpointing: false
use_ddp: false
batch_size: 32
global_batch_size: 1024
gradient_accumulation_steps: 1
几个可以读出的工程判断:
- 每卡 32 样本 × 64 卡 = 全局批 2048? 不,配置里
global_batch_size: 1024,即每步 1024 个样本,对应每卡实际按批内分片摊薄;梯度累积为 1,说明不靠累积“凑”大批。 - 选了 ZeRO-2 而不是 ZeRO-3:ZeRO-1/2 只切分优化器状态(和梯度),模型参数保持完整副本;ZeRO-3 还要切参数本身,通信代价更高。对 3B 规模 + bfloat16 的模型,ZeRO-2 的显存节省通常已经够用,且通信更省。
- 关掉
gradient_checkpointing:重算梯度的“时间换显存”技巧没有开启——说明在 GB200 的大显存下,作者选择了不牺牲吞吐。 - 精度组合:
bf16: true+tf32: true+fp16: false,配合optim: adamw_torch_fused(PyTorch 融合版 AdamW),这是 NVIDIA 卡上典型的高性能组合。
4️⃣ 学习率调度:WSD 三段式与“零预热” 📉
本次实验最值得关注的设计之一是学习率调度。核心配置如下(experiment_cfg/config.yaml):
learning_rate: 3.0e-05
lr_scheduler_type: wsd
warmup_steps: 0
warmup_ratio: 0.0
wsd_stable_ratio: 0.8
wsd_decay_type: cosine
max_steps: 100000
weight_decay: 1.0e-05
max_grad_norm: 1.0
什么是 WSD? Warmup-Stable-Decay,把训练分成三段:
学习率
│ ┌──────────────────────┐
│ │ 稳定段 80% │\
│ │ (3e-5 恒定) │ \ 余弦衰减 20%
└──────────┴──────────────────────┴────\─────────→ 步数
0 80,000 步 100,000 步
(无预热段:warmup_steps = 0)
- 稳定段占 80%(
wsd_stable_ratio: 0.8),即前 80,000 步保持 3e-5 恒定学习率,让模型充分探索; - 最后 20,000 步做余弦衰减(
wsd_decay_type: cosine),把学习率平滑拉低,帮助收敛到更稳的最优解; - 预热段为 0(
warmup_steps: 0)。这并不违反常规——因为训练是从一个稳定检查点start_from_checkpoint: .../qwen3vl_midtrain_ckpt130k续训的,模型早已收敛到平稳区域,没必要再升温。
这套“长稳定段 + 短衰减尾”的调度方式,特别适合“续训 + 换数据集”的后训练场景:换数据分布后先用恒定学习率充分适应,再收尾收敛。
5️⃣ 数据与动作空间:DROID 后训练的关键超参 🤖
数据配置
experiment_cfg/config.yaml 中数据部分显示:
- 训练数据为 DROID 子集
droid_101_success_idlefiltered_n17(经过“成功轨迹 + 去空闲帧”过滤的 N1.7 版本); episode_sampling_rate: 0.1:每条轨迹 10% 的采样密度,避免长轨迹重复刷分;shard_size: 1024、video_backend: torchcodec:分片读取 + 专用视频解码后端;- 相机模态为
exterior_image_1_left与wrist_image_left两路(外部视角 + 腕部视角),图像目标尺寸 224×224。
动作空间:相对量表示 + 40 步动作块
- 形态标签(embodiment tag)为
oxe_droid_relative_eef_relative_joint,对应 embodiment_id.json 中 DROID 系列的 ID 24(模型支持 32 个 embodiment 槽位,max_num_embodiments: 32); - 动作表示是 相对末端位姿(eef_9d)+ 关节位置:
eef_9d为 xyz 位移 + 6D 旋转,配合gripper_position(夹爪)与joint_position; action_horizon: 40:一次预测 40 步动作块,推理时num_inference_timesteps: 4,即 flow matching 扩散头只需 4 步去噪就能解出整段动作——延迟低,适合实时控制;- 数据归一化采用 分位数(q01/q99) 而非均值/方差(
use_percentiles: true),对真实数据中的离群值更鲁棒,对应 statistics.json 与 experiment_cfg/dataset_statistics.json 里的统计量。
损失加权:细节里见功夫
动作损失并非每个维度一视同仁(experiment_cfg/config.yaml):
eef_9d的第 3 维(z 高度方向)权重 2.0,其余为 1.0——这正是实验名里upweight_z的含义:抓取任务里高度偏差最伤成功率;- 夹爪
gripper_position权重 2.0:开合时机直接决定成败; - 关节中第 2、4 维也提到 2.0;
- 另加了
state_dropout_prob: 0.5的 proprioception 丢弃,强制模型多依赖视觉,少依赖本体状态——输出目录名里的state_dropout50指的就是它。
6️⃣ 模型全参微调:VLM 也没冻结 🧠
配置里一组 tune_* 开关全部为 true(experiment_cfg/config.yaml):tune_llm、tune_visual、tune_projector、tune_diffusion_model、tune_vlln 都打开,即 VLM 主干(Cosmos-Reason2-2B)+ 投影层 + 动作 DiT 全部解冻微调,这也是输出目录名 unfrozen_vlm 的由来。
动作头本身是一个 32 层 DiT(num_layers: 32、num_attention_heads: 32、attention_head_dim: 48,见 config.json),用 AdaLN 注入扩散步条件,hidden_size: 1024,dit_latent_dim: 1536。另外还叠加了 4 层视觉-语言自注意力模块(vl_self_attention_cfg),加强图像、文本、本体状态的跨模态融合。
7️⃣ 稳定性护栏与检查点策略 ✅
大规模训练最怕“训飞了不知道”。配置里有一个实用的防崩设计(experiment_cfg/config.yaml):
skip_spike: true
skip_spike_threshold: 5.0
skip_spike_ema_alpha: 0.99
skip_spike_max_consecutive: 10
含义:用 EMA(平滑系数 0.99)跟踪损失基线,一旦某步损失超过基线 5 倍 就跳过该步梯度,且最多连续跳过 10 步——自动拦截坏数据批次导致的 loss spike,同时避免“永远在跳”的假死状态。
检查点策略同样讲究:
save_steps: 1000+save_total_limit: 5:每 1000 步存一次,只保留最近 5 份,磁盘占用可控;upload_every: 1000、upload_last_n_checkpoints: 5、max_concurrent_uploads: 2:异步上传对象存储,最多 2 个并发,训练不阻塞;max_retries: 3:分布式任务失败自动重试 3 次;- 全程用 Weights & Biases(
use_wandb: true)记录曲线,项目名n17_ph2_droid_posttrain。
8️⃣ 一张表总结 + 新手要点 📋
| 维度 | 配置 | 出处 |
|---|---|---|
| 硬件 | 64 台 GB200 节点(4 GPU/节点) | README.md |
| 并行 | DeepSpeed ZeRO-2,无梯度检查点 | experiment_cfg/config.yaml |
| 精度 | bfloat16 + TF32 + 融合 AdamW | experiment_cfg/config.yaml |
| 批大小 | 全局 1024,无梯度累积 | experiment_cfg/config.yaml |
| 调度 | WSD:80% 稳定 + 20% 余弦衰减,零预热 | experiment_cfg/config.yaml |
| 学习率 | 3e-5,weight decay 1e-5,梯度裁剪 1.0 | experiment_cfg/config.yaml |
| 起点 | 130k 步中间检查点续训,再训 100k 步 | experiment_cfg/config.yaml |
| 模型 | 3B 参数,VLM 主干 + 32 层 DiT 动作头全参微调 | model.safetensors.index.json、config.json |
给想复现后训练的新手,三点可迁移的经验:
- 续训可以省预热:从稳定检查点出发时,
warmup_steps: 0+ WSD 长稳定段是干净的选择; - 损失加权要贴任务:把最容易失败的自由度(高度 z、夹爪)权重调高,比无脑加大学习率更奏效;
- 大训练一定要配 spike 护栏:EMA 损失基线 + 超阈值跳步,成本几乎为零,却能省下一整次重跑。
这次实验的完整超参数都在 experiment_cfg/ 目录里,模型行为细节见 README.md 的模型卡,权重分片与索引见 model.safetensors.index.json。拆开看,GR00T-N1.7-DROID 的价值不只是权重本身,更是这套可复现的后训练工程范式。