93.3%成功率意味着什么?如何正确解读 Cosmos3-Nano-LIBERO10-SDG-Export-S_worst 的 LIBERO-10 基准数字

原创2026-10-21 12:13:541,914 阅读

93.3%成功率意味着什么?如何正确解读 Cosmos3-Nano-LIBERO10-SDG-Export-S_worst 的 LIBERO-10 基准数字

Cosmos3-Nano-LIBERO10-SDG-Export-S_worst 是 NVIDIA Cosmos3-Nano 机器人在 LIBERO-10 数据集上后训练得到的动作策略检查点导出:7 个 bf16 safetensors 分片、约 30 GB、1160 个张量。它的 README 给出了两组核心数字——标准场景 93.3 ± 0.3% 的成功率,以及干扰场景 88.4 ± 1.7%。这篇文章带你逐条拆解这些 LIBERO-10 基准数字的评测口径、误差范围与对比条件,避免误读。

93.3% 是怎么测出来的:先看评测口径

很多机器人论文只给一个"成功率",但这个检查点把口径写得很清楚:

项目 数值 含义
评测范围 10 个任务 × 50 个初始状态 每个种子共 500 次完整任务
评测种子 3 个 多轮独立评估,取均值
标准场景成功率 93.3 ± 0.3 % 三次评估几乎完全一致

✅ 关键点:±0.3% 是跨种子波动,不是单次运行的随机误差。500 次试次 × 3 个种子,样本量足够大,所以这个数字的方差被压得很低——它描述的是"这个策略在 LIBERO-10 标准场景下的稳定水平",而不是某一次好运的结果。

88.4% 的干扰场景:鲁棒性掉了多少

同一组初始状态,把环境换成随机化光照、纹理、天空盒和相机抖动(camera jitter)的干扰场景后,成功率变为 88.4 ± 1.7 %。

解读这组数字时注意两点:

  • 下降约 4.9 个百分点:感知层面的外观扰动确实让策略变难,但策略仍保持较高成功率,说明视觉输入不是"死记硬背"场景纹理;
  • 波动扩大到 ±1.7 %:干扰场景下每次评估的差异明显变大,说明这类数字要连同误差范围一起看,只看均值会高估确定性。

为什么叫 S_worst:训练数据里的"最弱组"

这个名字是正确解读整组数字的前提。该检查点来自一项受控合成数据研究(SDG):用 Cosmos3-Nano-Sim-Transfer 对 LIBERO-10 演示做"重制"(restyle),并按质量门(gate)打分分档。S_worst 这一格使用的训练数据是:

  • 379 条真实 LIBERO-10 演示;
  • 568 条被质量门评为最差的重制合成演示;
  • 训练 0 → 2000 次迭代,全局 batch 2048,训练种子 42。

⚠️ 官方在 README 中特别提醒:重制数据单元格只有与其对照实验(duplicate control)放在一起才可解读,且小于 2.5 个百分点的差异落在训练种子波动范围内。也就是说:

  • 单独拿"93.3%"和别的模型比绝对值,意义有限;
  • 两个相近数字相差 1 个百分点时,不能断言谁更强——那还在噪声里;
  • "最差的合成数据"训出的策略仍然拿到了 93.3%,这正是这个单元格想证明的结论:即使合成演示质量垫底,收益依然可观。

解读基准数字的 5 个检查点

把这套方法迁移到其他机器人基准时,可以照单自查:

  1. 规模是否说清:任务数 × 初始状态数 × 种子数,缺一不可;
  2. 误差范围多大:±0.3 和 ±1.7 是两种完全不同的置信度;
  3. 初始状态是否对齐:本例标准/干扰两组使用相同初始状态,排除难度差异;
  4. 有没有对照组:受控实验中"配对对照"优先于绝对数字;
  5. 噪声下限是多少:本项目的经验值是 2.5 个百分点(训练种子波动),小于它的差异不下结论。

仓库里有什么:权重与配置文件一览

整个导出内容可以直接在仓库内核对,主要文件如下:

文件 作用
model-00001-of-00007.safetensors 等 7 个分片 bf16 权重(EMA 权重),合计约 30 GB
model.safetensors.index.json 1160 个张量的分片映射;总参数约 151.7 亿(15.17B),总大小 31,499,049,824 字节
config.json 模型配置:Cosmos3OmniModel 架构,Qwen3-VL-8B-Instruct 视觉语言骨干,bf16 精度,动作生成(action_gen)开启
checkpoint.json 检查点元信息:use_ema_weights 为 true,记录了训练输出路径与覆盖项(如 load_weights_from_pretrained=False)
export_manifest.json 导出清单:处理器来自 Qwen3-VL-8B-Instruct,vit 为 true
preprocessor_config.json / video_preprocessor_config.json Qwen3VL 图像/视频预处理器参数
tokenizer.json 等分词器文件 文本与特殊标记(如 `
登录后查看全文
cosmos3-nano-libero10-sdg-export-S_worst