94.2% 成功率意味着什么:cosmos3-nano-libero10-sdg-export-D 的 LIBERO-10 评测指标全解析
94.2% 成功率意味着什么:cosmos3-nano-libero10-sdg-export-D 的 LIBERO-10 评测指标全解析
cosmos3-nano-libero10-sdg-export-D 是 NVIDIA Cosmos3-Nano 视觉-语言-动作(VLA)模型在 LIBERO-10 基准上后训练后的策略权重导出,官方报告的 LIBERO-10 评测成功率高达 94.2%。本文面向新手,用大白话拆解这组评测指标是怎么测出来的:±2.4 的波动代表什么、"扰动场景 85.3%"又说明了什么,帮你准确读懂这个机器人策略模型的真实水平。
🤖 先认识一下:这个项目到底是什么
一句话概括:它是一个机器人"大脑"的成品权重——把预训练的多模态大模型 Cosmos3-Nano 放到 LIBERO-10 机器人操作基准上继续训练后,导出的可部署检查点。
几个关键身份信息(来自 README.md):
- 基座模型:
nvidia/Cosmos3-Nano(revisione59a53c2),架构为Cosmos3OmniModel - 项目定位:一项受控合成数据实验中的 cell D(对照研究中的一个实验组),实验主题为"用 Sim-Transfer 对 LIBERO-10 演示做重风格化,并衡量其相对匹配对照组带来的收益"
- 导出形式:bf16 safetensors 权重,使用 EMA(指数滑动平均)权重,共 7 个分片,约 30 GB,可被
cosmos-framework的 policy server 直接加载 - 注意:训练数据本身不在本仓库内重新分发(见下文"如何获取")
📊 核心指标全解析:两个成功率数字
官方公布的评测结果如下:
| 评测场景 | 成功率 | 评测设置 |
|---|---|---|
| 标准场景(standard scenes) | 94.2 ± 2.4 % | 10 个任务 × 50 个初始状态,3 个评测种子 |
| 扰动场景(perturbed scenes) | 85.3 ± 2.7 % | 相同初始状态 + 随机化光照、纹理、天空盒与相机抖动 |
标准场景 94.2% ± 2.4% 应该怎么读
- 成功率(Success Rate) 是机器人操作领域最核心的指标:机器人独立完成一次任务的次数占总试次数的比例。94.2% 意味着大约每做 100 次任务,成功 94 次左右。
- 评测规模:LIBERO-10 包含 10 个厨房/家居操作任务,每个任务取 50 个不同的初始状态,即单次完整评测就是 500 次试次;再用 3 个不同评测种子重复,保证结果不是"撞运气"。
- ± 2.4% 反映的是 3 个评测种子之间的结果波动,说明这个成绩相当稳定,不是偶然刷出来的高点。
扰动场景 85.3%:泛化能力的"试金石"
扰动场景刻意把光照、纹理、天空盒和相机位置都打乱,模拟真实世界"换个环境就变样"的情况:
- 成功率从 94.2% 降到 85.3%,下降约 9 个百分点,这是视觉策略面对外观变化时的典型衰减;
- 85.3% 的水平说明模型学到的是任务语义本身,而不是死记硬背训练时画面的"像素套路";
- 读论文或评测报告时,标准场景和扰动场景要一起看,单看 94.2% 容易高估模型的迁移能力。
🧪 训练设置速览:379 条真实演示 + 1137 条"换装"演示
这项实验本质上是一个合成数据(SDG, Synthetic Data Generation)增益研究:
| 项目 | 数值 |
|---|---|
| 真实 LIBERO-10 演示 | 379 条 |
| 重风格化(restyled)重复演示 | 1137 条 |
| 训练迭代 | 0 → 2000(global batch 2048,训练种子 42) |
| 框架 | cosmos-framework c23e51f2(v1.2.2) |
简单说:先用 Sim-Transfer 把 379 条真实演示"换装"生成 1137 条外观不同的合成演示,再混入训练,验证合成数据到底有没有用。cell D 只是该研究中一个实验组,它的意义必须结合配套的对照组(duplicate control)来解读。
🧩 配置文件里藏着什么:151.7 亿参数怎么来的
不用逐行读代码,看几个关键字段就能建立直观印象:
- config.json:
"architectures": ["Cosmos3OmniModel"],精度为 bfloat16;语言/视觉骨干基于 Qwen3-VL(vlm_config段),动作输出由扩散式动作专家负责(action_gen: true、max_action_dim: 64、num_embodiment_domains: 32,即最多支持 32 种具身域的动作接口) - model.safetensors.index.json:
total_parameters为 15,173,136,576(约 151.7 亿参数),total_size为 31,499,049,824 字节(约 29.4 GiB),与 README 宣称的"about 30 GB"吻合 - checkpoint.json:
"use_ema_weights": true,说明导出的是 EMA 平滑后的权重,通常比单步权重更稳定 - export_manifest.json:记录导出参数(
vit: true)以及处理器/视觉塔的来源仓库与 revision
📦 仓库文件清单(新手目录速览)
| 文件 | 作用 |
|---|---|
| model-00001-of-00007.safetensors ~ model-00007-of-00007.safetensors | 模型权重,bf16,共 7 个分片 |
| model.safetensors.index.json | 权重索引:每个参数在哪个分片、总参数量 |
| config.json | 模型架构与训练配置(Cosmos3OmniModel) |
| checkpoint.json | 检查点来源与导出参数(EMA 权重) |
| export_manifest.json | 导出清单与来源信息 |
| tokenizer.json、vocab.json、merges.txt、tokenizer_config.json、chat_template.json | 分词器词表与对话模板(Qwen2Tokenizer) |
| preprocessor_config.json、video_preprocessor_config.json | 图像/视频输入预处理配置(patch_size 16 等) |
| README.md | 训练数据、迭代数与评测指标总览 |
💡 小贴士:本镜像中的 7 个
.safetensors文件是 Git LFS 指针文件(每个仅 135 字节),真正的权重数据需要通过git lfs拉取,克隆后若发现分片只有几百字节,执行一次git lfs pull即可。
⚙️ 如何获取并加载这个策略模型
第一步:克隆仓库
git clone https://gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D
cd cosmos3-nano-libero10-sdg-export-D
git lfs pull
第二步:加载:README 说明该导出物可被 cosmos-framework(v1.2.2,commit c23e51f2)的 policy server 加载,即它是一套"即插即用"的推理部署格式,而不是让你手工拼权重。
第三步:准备数据(如果要做复现/继续训练):LIBERO-10 数据集在 nvidia/LIBERO_LeRobot_v3,重风格化数据集由 Cosmos Cookbook 配方重新生成,均不包含在本仓库中。
许可证:NVIDIA Open Model License,属于 nvidia/Cosmos3-Nano 的衍生模型。
🧭 引用指标前,两个必须知道的提醒
官方在 README 末尾特别强调了研究方法的解读规则,对新手尤其重要:
- cell D 只能和它"配对的对照组"比较。合成数据研究里,restyled 实验组的收益必须相对其 duplicate control(同数据、未换装的对照)才有意义,跨实验组直接比数字容易得出错误结论。
- 小于 2.5 个百分点的差异可能只是训练种子的噪声。本实验训练种子为 42,README 明确提示:差异在 2.5 分以内属于训练种子波动范围,不宜过度解读。
因此,"94.2%"最严谨的表述是:在标准 LIBERO-10 场景下、10 任务 × 50 初始状态、3 个评测种子口径下,cell D 的平均成功率约为 94.2%,种子间波动 ±2.4 个百分点。
📌 总结
- 94.2% ± 2.4%:标准场景成功率,评测口径是 10 任务 × 50 初始状态 × 3 个评测种子,稳定性良好
- 85.3% ± 2.7%:扰动场景(光照/纹理/天空盒/相机抖动)成功率,体现约 9 个百分点的视觉泛化衰减
- 权重为 151.7 亿参数、bf16、EMA 平滑后的导出检查点,7 分片共约 30 GB,可用
cosmos-frameworkpolicy server 加载 - 引用或对比该指标时,务必带上评测口径,并与配套对照组比较,2.5 分以内的差异不建议过度解读