如何评测cosmos3-nano-libero10-sdg-export-D5?LIBERO-10基准与93.4%成功率的背后细节
如何评测cosmos3-nano-libero10-sdg-export-D5?LIBERO-10基准与93.4%成功率的背后细节
cosmos3-nano-libero10-sdg-export-D5 是 NVIDIA 导出的一个 LIBERO-10 基准机器人操作策略(VLA)检查点:它在 nvidia/Cosmos3-Nano 基座上做了后训练,在 LIBERO-10 标准场景上取得 93.4% 成功率。这篇文章带你拆解这个数字背后的评测口径、检查点内部结构,以及如何实际加载并完成一次完整评测。
📦 这个"D5"检查点到底是什么?
一句话:它是 Cosmos Cookbook 受控合成数据实验中的一个实验组(cell)的训练成果。该实验的主题是"用 Cosmos3-Nano-Sim-Transfer 重样式化 LIBERO-10 演示,并与匹配对照组比较收益",D5 就是其中特定重样式化配置下的一个训练单元。
| 关键参数 | 数值 |
|---|---|
| 基座模型 | nvidia/Cosmos3-Nano(revision e59a53c2) |
| 参数量 | 15,173,136,576(约 15.2B) |
| 精度 / 体量 | bf16(EMA 权重),7 个 safetensors 分片,约 30 GB |
| 训练数据 | 379 条真实 LIBERO-10 演示 + 1895 条重样式化副本 |
| 训练规模 | 2000 iterations,global batch 2048,训练种子 42 |
| 推理框架 | cosmos-framework v1.2.2(commit c23e51f2)策略服务器 |
⚠️ 注意:仓库只导出模型检查点,训练数据不在此重新分发。原始 LIBERO-10 数据集位于
nvidia/LIBERO_LeRobot_v3,重样式化数据需按 Cosmos Cookbook 配方自行再生成。
📊 93.4% 成功率是怎么测出来的?
官方评测口径在 README.md 中写得很清楚,两组数字分别对应两种场景:
| 评测场景 | 成功率 | 说明 |
|---|---|---|
| 标准场景(standard scenes) | 93.4 ± 1.2 % | 10 个任务 × 50 个初始状态,3 个评测种子 |
| 扰动场景(perturbed scenes) | 82.9 ± 1.9 % | 相同初始状态 + 随机化光照、纹理、天空盒与相机抖动 |
三个细节值得新手特别注意:
- ± 是多少? 它是 3 个评测种子之间的波动幅度,不是置信区间。看到 "93.4 ± 1.2" 要理解为"重复评测 3 次,结果在 92.2%~94.6% 之间浮动"。
- 2.5 分数的"噪音地板":README 明确提醒,小于 2.5 个百分点的差异落在训练种子的自然波动范围内,不能宣称是真实改进。
- D5 必须和对照组一起看:重样式化单元只有在和"匹配对照组(matched control)"并列时才具有可解释性——这正是该实验的受控设计核心。
从 93.4% → 82.9% 的约 10 个百分点落差,也说明光照与感知层面的扰动是这个策略当前的主要短板,做下游部署评测时务必复测扰动场景。
🔍 检查点文件快速导览
| 文件 | 作用 |
|---|---|
| README.md | 实验元信息:数据来源、训练轮数、两项成功率 |
| config.json | 模型架构:Cosmos3OmniModel,Qwen3-VL-8B 语言骨干 + 扩散动作专家(MoT 双通路),动作维度 64,Wan2.2 VAE 视频 tokenizer |
| model.safetensors.index.json | 权重索引:总参数 15.17B、总大小 31,499,049,824 字节 |
| checkpoint.json | 检查点元数据:iter_000002000、use_ema_weights: true、DCP 格式 |
| export_manifest.json | 导出清单:processor 随包内置,视觉塔来自 Qwen/Qwen3-VL-8B-Instruct |
| tokenizer.json / vocab.json / merges.txt | Qwen3 词表与分词配置 |
| chat_template.json | 对话模板(含工具调用格式) |
| preprocessor_config.json / video_preprocessor_config.json | 图像 / 视频预处理参数(patch 16、temporal patch 2) |
model-0000X-of-00007.safetensors × 7 |
权重分片(每片约 4.9 GB,LFS 对象) |
🚀 如何实际加载并跑一次评测?
第 1 步:获取模型仓库(约 30 GB,权重为 LFS 对象)
git clone https://gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D5
cd cosmos3-nano-libero10-sdg-export-D5
git lfs pull # 若分片文件只有 135 字节,说明 LFS 未拉取
第 2 步:启动策略服务器:安装 cosmos-framework(v1.2.2),启动 policy server 并指向本仓库目录,它会自动读取 config.json 与 model.safetensors.index.json 装配 15.2B 的 bf16 权重。
第 3 步:复现标准评测:在 LIBERO-10 的 10 个任务上、每个任务跑 50 个初始状态(共 500 次试错),至少用 3 个评测种子重复,取均值与波动,对标 93.4 ± 1.2%。
第 4 步:复现扰动评测:保持相同的 500 个初始状态,随机化光照、纹理、天空盒与相机抖动,对标 82.9 ± 1.9%。
第 5 步:显存预算:bf16 权重约 30 GB,建议单卡 48 GB+;多卡可用 FSDP 切分(训练时使用的正是 data_parallel_shard_degree: 4 配置)。
⚠️ 评测前必读的 3 个常见误区
- 别只看 93.4%——扰动场景的 82.9% 才代表真实的感知鲁棒性水平;
- 别把 <2.5 个百分点的差异当改进——那是训练种子的波动范围;
- 别脱离对照组横向比较——D5 是受控实验单元,结论只在"重样式化 vs 匹配对照组"的语境下成立。
最后,许可方面:本仓库是 nvidia/Cosmos3-Nano 的衍生模型,适用 NVIDIA Open Model License,商用前请确认条款。