LIBERO-10 评测方法完整指南:如何正确解读 cosmos3-nano-libero10-sdg-export-S_all 的 94.5±1.2%
LIBERO-10 评测方法完整指南:如何正确解读 cosmos3-nano-libero10-sdg-export-S_all 的 94.5±1.2%
本文以 cosmos3-nano-libero10-sdg-export-S_all 为例讲清 LIBERO-10 评测方法:如何正确解读 94.5 ± 1.2% 的标准场景成功率、为什么扰动场景的 87.1% 往往更值钱,以及对比不同模型时最容易踩的三个坑。
这个模型是什么?
cosmos3-nano-libero10-sdg-export-S_all 是把基础模型 nvidia/Cosmos3-Nano(revision e59a53c2)在 LIBERO-10 基准上后训练后导出的策略检查点(cell 名为 S_all),可被 cosmos-framework(v1.2.2)的策略服务器加载。它是 Cosmos Cookbook 中一项受控合成数据研究的一个单元,研究主题是"重风格化(restyle)演示数据能带来多少提升"。
来自 README.md 的核心信息:
| 项目 | 内容 |
|---|---|
| 训练数据 | 379 条真实 LIBERO-10 演示 + 1137 条 restyle 合成演示(styles 1–3) |
| 训练规模 | 0 → 2000 迭代,global batch 2048,训练种子 42 |
| 标准场景成功率 | 94.5 ± 1.2 % |
| 扰动场景成功率 | 87.1 ± 1.2 % |
| 许可协议 | NVIDIA Open Model License |
⚠️ 注意:训练数据不在本仓库中。原始数据集在
nvidia/LIBERO_LeRobot_v3,restyle 集合需要按 recipe 重新生成。
LIBERO-10 评测协议一句话讲清
这个模型的成功率是这样算出来的:
| 维度 | 取值 | 含义 |
|---|---|---|
| 任务数 | 10 | LIBERO-10 基准中的 10 个操作任务 |
| 初始状态 | 50 / 任务 | 同一任务的 50 种不同摆放起点 |
| 评测种子 | 3 | 3 次相互独立的完整评测 |
也就是说,每个评测种子都要跑 10 × 50 = 500 次完整 rollout(模型在仿真环境里从头执行到任务结束),3 个种子合计 1500 次。报告数字取 3 个种子的均值,± 号后面跟的是种子间标准差。
94.5 ± 1.2% 里的 ± 常被读错
最常见的两种误读:
- ❌ "模型只能保证 93.3%~95.7%"——±1.2 不是单次结果的置信区间;
- ❌ "成功率在 94.5% 和 95.7% 之间波动"——也不是单次运行内的抖动。
✅ 正确理解:±1.2% 是 3 个评测种子之间的离散程度。评测中不可避免地有随机因素(初始化噪声、rollout 轨迹等),3 次独立评测的标准差只有 1.2 个百分点,说明 94.5% 这个均值是稳定且可复现的。如果两个种子一个 94% 一个 96%,那 ± 会明显更大,均值的可信度也要打折扣。
87.1%:解读 robustness 更值钱的数字
扰动场景与标准场景使用完全相同的 50 个初始状态,只把光照、纹理、天空盒和相机做了随机化(camera jitter)。成功率从 94.5% 掉到 87.1%,降幅 7.4 个百分点。
这个数字衡量的是模型的外观鲁棒性(robustness):视觉外观一变,模型还靠不靠谱。所以看报告时建议两个数字并排读——单独一个 94.5% 回答不了"换个光照环境还能不能干活"这个问题。
对比不同 cell 前,先找"配对对照组"
这是 README.md 里最容易被忽略的一条:
a restyled cell is only interpretable next to its duplicate control, and differences under 2.5 points are within the training-seed spread.
翻译成三条可操作的规则:
- 🔍 只和配对对照组比:
S_all是受控实验的一个 cell,它的结果要和同一实验中"仅数据做法不同"的孪生对照组比,而不是拿一个不相关检查点比高低; - 📏 2.5 分门槛:同一研究里换训练种子本身就有波动,因此小于 2.5 个百分点的差异应视为噪声,不足以支撑"有提升"的结论;
- 看到"S_all 比对照组高 X 分"的说法时,先检查 X 是否大于 2.5,再决定信不信。
仓库里有什么:快速核对数字
以下文件可直接用于核对评测结论与实际权重是否一致:
- README.md —— 训练与评测数字的唯一权威来源;
- checkpoint.json —— 导出自
iter_000002000/model,且use_ema_weights: true,即权重为 EMA 平滑后的权重,与 README 的 2000 迭代一致; - config.json —— 架构为
Cosmos3OmniModel,bfloat16 精度,action_gen: true表明具备动作生成能力; - export_manifest.json —— 导出参数,processor 基于
Qwen3-VL-8B-Instruct; - model.safetensors.index.json —— 权重分片索引,共 7 个分片、约 30 GB,总参数约 15.17B。
小结:三步法解读任何 LIBERO-10 评测
- 看协议:多少任务、多少初始状态、多少评测种子(本模型为 10 × 50 × 3);
- 看双数字:标准场景成功率与扰动场景成功率要一起看,两者之差就是鲁棒性标尺;
- 看对照组:对比 cell 前先找到配对对照组,差异超过 2.5 个百分点再下结论。
掌握这套三步法,再看到"94.5±1.2%"这样的数字,就不会再被单点均值带偏了。