GR00T-N1.7-LIBERO检查点结构全解:Safetensors、DeepSpeed ZeRO优化器状态与断点续训指南

原创2026-11-11 19:09:301,970 阅读
文章标签:人工智能具身智能机器人基础模型多模态模型推理服务

GR00T-N1.7-LIBERO检查点结构全解:Safetensors、DeepSpeed ZeRO优化器状态与断点续训指南

本文带你彻底读懂 GR00T-N1.7-LIBERO 这个模型仓库的检查点(checkpoint)结构。GR00T-N1.7-LIBERO 是 NVIDIA 在 LIBERO 终身机器人学习基准 上用 GR00T N1.7 人形机器人基础模型(约 31 亿参数)做后训练(post-train)得到的成果,仓库内包含 libero_spatial、libero_object、libero_goal、libero_10 四个任务套件各自的完整训练检查点:既能直接用于推理部署的 Safetensors 模型权重,也保留了用于断点续训的 DeepSpeed ZeRO 优化器状态。

GR00T-N1.7 模型架构图:视觉编码器、语言编码器与 Flow Matching 动作 Transformer 组成的跨具身操作模型

一、仓库总体结构:一套检查点管 4 个任务套件

仓库根目录下有 4 个结构完全相同的子目录,每个对应 LIBERO 基准的一个任务套件:

任务套件目录 训练完成步数 说明
libero_spatial/ global_step20000 空间关系任务(移动物体到目标位置)
libero_object/ global_step26000 物体操作任务
libero_goal/ global_step18000 目标导向任务
libero_10/ global_step18000 长程组合任务(10 个任务)

每个目录里的文件可以分成 4 大类:

  1. 🎯 推理模型权重:model-0000X-of-00002.safetensors 分片 + 索引 + 配置
  2. ⚡ 断点续训状态:global_stepXXXXX/ 子目录(DeepSpeed ZeRO 优化器分片)
  3. 📝 训练记录:trainer_state.json、statistics.json、wandb_config.json
  4. ⚙️ 实验配置:experiment_cfg/ 下的 conf.yaml 与数据归一化统计

下面以 libero_10/ 为例逐一拆解,其余三个目录同理。

二、Safetensors 模型权重:直接推理用的"成品"

2.1 权重分片与索引

模型总大小约 6.9 GB(bfloat16 精度、3,144,016,000 个参数),被拆成了两个分片:

为什么要分片?单个权重文件过大时,下载、校验、加载都会变慢,按 ~4.9GB 一个分片存储更方便管理。具体"哪个参数张量存在哪个分片里",由 model.safetensors.index.json 这张**权重映射索引(weight_map)**决定。比如索引中可以看到 action_head.action_encoder.* 等张量被映射到 00002 分片——加载时框架会先读索引,再按需读取对应分片,不用把整个模型一次性塞进内存。

2.2 配套配置文件

推理时除了权重,还需要几个"说明书"文件:

  • config.json:模型架构定义(architectures: Gr00tN1d7),含 action_horizon: 40(一次预测 40 步动作)、max_state_dim/max_action_dim: 132、扩散动作头配置等关键超参数
  • processor_config.json:多模态输入处理器(图像 256×256、语言模板等)配置
  • embodiment_id.json:具身 ID 映射表,把 libero_sim、oxe_droid、gr1 等不同机器人本体映射为整数 ID,供状态/动作 MLP 按具身选择对应参数

✅ 只跑推理? 只要上述 safetensors 分片 + 这几个 json 就够了,不需要 global_step18000/ 里的任何内容。

三、DeepSpeed ZeRO 优化器状态:断点续训的核心

3.1 global_step18000/ 里有什么?

libero_10/global_step18000/ 是 DeepSpeed 保存的完整训练状态目录:

文件 数量 作用
bf16_zero_pp_rank_{0-15}_mp_rank_00_optim_states.pt 16 个 16 卡数据并行下每张 GPU 各自分片的优化器状态(AdamW 动量等,bf16 格式)
mp_rank_00_model_states.pt 1 个 模型参数 + 训练器整体状态

rank_0 到 rank_15 的命名说明这次后训练使用了 16 路并行。ZeRO(Zero Redundant Optimizer)策略会把优化器状态按参数切分、分散存放在各张 GPU 上以节省显存,因此落盘时自然形成了 16 个 optim_states 分片——续训时的并行卡数必须与之一致(16 卡),否则分片无法对齐。

3.2 latest 文件:检查点的"指针"

每个任务目录下都有一个 latest 文件,内容只有一行:

global_step18000

它指向"最新一次保存的 checkpoint 目录"。训练框架在断点续训时就是靠它自动找到该从哪个 global_stepXXXXX/ 恢复。

3.3 随机数状态:可复现性的"快照"

目录根下还有 rng_state_0.pth ~ rng_state_15.pth 共 16 个文件,以及 scheduler.pt。前者保存了每张 GPU 的随机数生成器状态(数据打乱顺序、Dropout 掩码等),后者保存学习率调度器进度。配合它们,续训后可以精确复现"从这一步继续"的完整训练过程,而不仅仅是恢复参数。

四、断点续训指南:从检查点到继续训练

4.1 续训需要什么?

把四样东西凑齐即可从 global_step18000 继续训练:

  1. global_step18000/ 下全部 17 个 .pt 分片(优化器 + 模型状态)
  2. 16 个 rng_state_*.pth + scheduler.pt
  3. training_args.bin:HF Trainer 的训练参数
  4. 原始训练配置:experiment_cfg/conf.yaml(记录了模型结构、qwen3 VLM 后端、扩散动作头 16 层等完整实验配置)

续训时把训练命令的 resume 路径指向该任务目录(如 libero_10/),框架会读取 latest 自动定位 global_step18000/ 并从第 18000 步的优化器、学习率、随机状态完整恢复。

4.2 只想要合并权重?用 zero_to_fp32.py

如果你不需要续训,只想把 ZeRO 分片还原成一份完整的 fp32 权重,每个任务目录都自带了官方转换脚本 zero_to_fp32.py。在对应任务目录下执行:

python zero_to_fp32.py . output_dir/ --safe_serialization

脚本会读取 global_step18000/ 中的分片并合并输出标准权重文件,输出结果不依赖 DeepSpeed 运行时,可直接用于任意推理框架。

4.3 训练进度怎么查?

打开 trainer_state.json 就能查看完整训练轨迹,例如 libero_10 显示:

"global_step": 18000, "epoch": 0.45

其中的 log_history 数组记录了每个 step 的 train/loss、前向耗时、batch 帧数/图像数/token 数等指标,可用于绘制 loss 曲线。四个套件的最优检查点步数各不相同(18000 / 18000 / 26000 / 20000),与 latest 文件一致。

五、数据归一化统计与推理后处理

5.1 状态/动作的统计量

VLA 模型推理时必须把原始传感器读数归一化到训练分布。相关文件:

5.2 实验配置对照

conf.yaml 是训练时的完整实验快照,几个值得注意的字段:vlm_model_path: nvidia/Cosmos-Reason2-2B(视觉语言骨干)、tune_llm: false(后训练冻结 LLM、只调投影层与扩散动作头)、use_percentiles: true(使用分位数归一化)。wandb_config.json 中的 run_id: train_n17final_libero_10 则标明了这条实验曲线对应的任务。

六、快速上手清单

  1. 部署推理 → 取 safetensors 两分片 + 索引 + 3 个 json 配置,按 model.safetensors.index.json 映射加载
  2. 断点续训 → 保留 global_stepXXXXX/、rng_state_*.pth、scheduler.pt、training_args.bin,用 16 卡并行从 latest 指向的步骤恢复
  3. 权重合并 → 运行各目录内的 zero_to_fp32.py 一键还原 fp32 权重
  4. 复现实验 → 参照 experiment_cfg/conf.yaml 与 dataset_statistics.json 配置数据与归一化

💡 小结:这个仓库是"推理成品 + 训练现场"的双全型检查点——safetensors 面向部署,global_step*/ 面向续训,理解 latest 指针与 ZeRO 分片规则后,你既能把它跑起来,也能在它的基础上继续训练自己的机器人策略。

登录后查看全文
GR00T-N1.7-LIBERO