93.3%成功率意味着什么?如何正确解读 Cosmos3-Nano-LIBERO10-SDG-Export-S_worst 的 LIBERO-10 基准数字
93.3%成功率意味着什么?如何正确解读 Cosmos3-Nano-LIBERO10-SDG-Export-S_worst 的 LIBERO-10 基准数字
Cosmos3-Nano-LIBERO10-SDG-Export-S_worst 是 NVIDIA Cosmos3-Nano 机器人在 LIBERO-10 数据集上后训练得到的动作策略检查点导出:7 个 bf16 safetensors 分片、约 30 GB、1160 个张量。它的 README 给出了两组核心数字——标准场景 93.3 ± 0.3% 的成功率,以及干扰场景 88.4 ± 1.7%。这篇文章带你逐条拆解这些 LIBERO-10 基准数字的评测口径、误差范围与对比条件,避免误读。
93.3% 是怎么测出来的:先看评测口径
很多机器人论文只给一个"成功率",但这个检查点把口径写得很清楚:
| 项目 | 数值 | 含义 |
|---|---|---|
| 评测范围 | 10 个任务 × 50 个初始状态 | 每个种子共 500 次完整任务 |
| 评测种子 | 3 个 | 多轮独立评估,取均值 |
| 标准场景成功率 | 93.3 ± 0.3 % | 三次评估几乎完全一致 |
✅ 关键点:±0.3% 是跨种子波动,不是单次运行的随机误差。500 次试次 × 3 个种子,样本量足够大,所以这个数字的方差被压得很低——它描述的是"这个策略在 LIBERO-10 标准场景下的稳定水平",而不是某一次好运的结果。
88.4% 的干扰场景:鲁棒性掉了多少
同一组初始状态,把环境换成随机化光照、纹理、天空盒和相机抖动(camera jitter)的干扰场景后,成功率变为 88.4 ± 1.7 %。
解读这组数字时注意两点:
- 下降约 4.9 个百分点:感知层面的外观扰动确实让策略变难,但策略仍保持较高成功率,说明视觉输入不是"死记硬背"场景纹理;
- 波动扩大到 ±1.7 %:干扰场景下每次评估的差异明显变大,说明这类数字要连同误差范围一起看,只看均值会高估确定性。
为什么叫 S_worst:训练数据里的"最弱组"
这个名字是正确解读整组数字的前提。该检查点来自一项受控合成数据研究(SDG):用 Cosmos3-Nano-Sim-Transfer 对 LIBERO-10 演示做"重制"(restyle),并按质量门(gate)打分分档。S_worst 这一格使用的训练数据是:
- 379 条真实 LIBERO-10 演示;
- 568 条被质量门评为最差的重制合成演示;
- 训练 0 → 2000 次迭代,全局 batch 2048,训练种子 42。
⚠️ 官方在 README 中特别提醒:重制数据单元格只有与其对照实验(duplicate control)放在一起才可解读,且小于 2.5 个百分点的差异落在训练种子波动范围内。也就是说:
- 单独拿"93.3%"和别的模型比绝对值,意义有限;
- 两个相近数字相差 1 个百分点时,不能断言谁更强——那还在噪声里;
- "最差的合成数据"训出的策略仍然拿到了 93.3%,这正是这个单元格想证明的结论:即使合成演示质量垫底,收益依然可观。
解读基准数字的 5 个检查点
把这套方法迁移到其他机器人基准时,可以照单自查:
- 规模是否说清:任务数 × 初始状态数 × 种子数,缺一不可;
- 误差范围多大:±0.3 和 ±1.7 是两种完全不同的置信度;
- 初始状态是否对齐:本例标准/干扰两组使用相同初始状态,排除难度差异;
- 有没有对照组:受控实验中"配对对照"优先于绝对数字;
- 噪声下限是多少:本项目的经验值是 2.5 个百分点(训练种子波动),小于它的差异不下结论。
仓库里有什么:权重与配置文件一览
整个导出内容可以直接在仓库内核对,主要文件如下:
| 文件 | 作用 |
|---|---|
| model-00001-of-00007.safetensors 等 7 个分片 | bf16 权重(EMA 权重),合计约 30 GB |
| model.safetensors.index.json | 1160 个张量的分片映射;总参数约 151.7 亿(15.17B),总大小 31,499,049,824 字节 |
| config.json | 模型配置:Cosmos3OmniModel 架构,Qwen3-VL-8B-Instruct 视觉语言骨干,bf16 精度,动作生成(action_gen)开启 |
| checkpoint.json | 检查点元信息:use_ema_weights 为 true,记录了训练输出路径与覆盖项(如 load_weights_from_pretrained=False) |
| export_manifest.json | 导出清单:处理器来自 Qwen3-VL-8B-Instruct,vit 为 true |
| preprocessor_config.json / video_preprocessor_config.json | Qwen3VL 图像/视频预处理器参数 |
| tokenizer.json 等分词器文件 | 文本与特殊标记(如 ` |