object-permanence数据格式深度解析:5个文件如何构成一条视频续写训练样本

原创2026-10-18 23:32:041,939 阅读
文章标签:数据集人工智能

object-permanence数据格式深度解析:5个文件如何构成一条视频续写训练样本

object-permanence 是一个面向视频模型(世界模型)"物体恒存"(Object Permanence)能力训练的数据集,包含 150 万条 Blender 渲染的视频续写样本。每条样本恰好由 5 个文件组成——2 个视频、1 个文本提示、1 个物理真值、1 个元数据,共同构成一道"看完前 2.5 秒、续写后 2.5 秒"的训练题。本文带你完整拆解这套数据格式的设计逻辑。

📦 数据集概览:150 个任务,150 万条样本

在深入单条样本之前,先看整体规格(详见 README.md):

属性 值
任务数 150 个,按六大认知类别划分
样本数 1,500,000 条(每个任务 10,000 条)
打包方式 150 个 tar 归档,每个任务一个(解压后 0.7–4.1 GB)
总大小 214 GB
分辨率 1280 × 720,24 fps
片段长度 60 帧输入 → 60 帧目标(2.5 s → 2.5 s)
每条样本文件数 5 个

所有任务归档都放在 train/ 目录下,如 train/cabinet_task.tar、train/three_cup_shell_game_task.tar。🎯 任务命名即场景:抽屉、弹珠机、碰车碰撞、隧道遮挡……每个任务对应一类认知挑战。

🗂 仓库结构:从 tar 包到 shard 分区

解压任意一个任务归档后,目录结构保持渲染分区(shard)的层级:

train/
└── shard1/                            # 渲染分区:shard1 = G01–G30 … shard5 = G121–G150
    └── cabinet_task/
        ├── cabinet_0000/
        │   ├── input_video.mp4        # 60 帧,1280×720,24 fps —— 上下文
        │   ├── target_video.mp4       # 60 帧,同规格 —— 待预测的续写
        │   ├── prompt.txt             # 场景描述,前缀 "Continue this scene as a short video."
        │   ├── trajectory.npz         # 全部 120 帧源帧的物体位姿真值
        │   └── metadata.json          # 参数、来源信息、video_split
        ├── cabinet_0001/ … cabinet_9999/
        └── …

几个值得注意的设计点:

  • 样本目录编号从 0000 开始,一个任务 10,000 条样本对应 cabinet_0000 到 cabinet_9999;
  • 每个 tar 内含 50,000 个成员(10,000 条样本 × 5 个文件),这一计数记录在 train/checksums.txt 中;
  • shard 分区对应渲染时的 GPU 分组(shard1 负责 G01–G30,……shard5 负责 G121–G150),便于断点续渲和并行训练采样。

🔍 核心解析:一条样本的 5 个文件

下面逐一拆解样本目录 cabinet_0000/ 中的 5 个文件,理解它们如何协同构成一条训练样本。

1️⃣ input_video.mp4 —— 模型看到的"上下文"

60 帧、1280 × 720、24 fps 的 MP4 视频,即前 2.5 秒画面。这是模型推理时的输入:训练时它充当条件(condition),让模型"看懂"当前场景里有哪些物体、处于什么运动状态。

2️⃣ target_video.mp4 —— 模型要"续写"的续段

与输入视频同规格(60 帧)的 MP4,即接下来 2.5 秒的标准答案。物体被抽屉藏住、小球滚过弯道……这些"看不见但仍在运动"的后续画面,正是物体恒存能力的考核点。训练时模型对这段做预测,loss 就加在它上面。

💡 两者首尾无缝衔接:第 60 帧(输入结尾)与 target 第 0 帧连续,构成一条完整的 120 帧原始渲染。

3️⃣ prompt.txt —— 统一前缀的场景描述

纯文本提示词,开头统一为 Continue this scene as a short video.,随后是对场景的文字描述。它把"视频续写"任务显式告知模型,保证 150 万条样本的指令风格一致,方便与不同基座模型对接。

4️⃣ trajectory.npz —— 120 帧的物理真值

NumPy 归档(.npz),存储全部 120 个源帧(输入 60 + 目标 60)中每个刚体的位姿真值(ground-truth body poses)。这是合成数据独有的"作弊器":

  • 可用于可微渲染/位姿监督,直接对齐物理状态;
  • 可用于评估——判断模型续写结果里的物体位置是否与真值吻合;
  • 也可作为辅助训练信号,比纯像素 loss 更贴近"物体是否还在"这一认知目标。

5️⃣ metadata.json —— 参数、来源与切分信息

记录该样本的随机化参数(速度、光照、相机角度等 nuisance 参数)、生成来源(provenance)以及 video_split 字段。它保证了:

  • 可复现性:任何一条样本都能追溯到生成配置;
  • 数据集切分:video_split 支持按划分训练/验证,避免同场景泄漏。

✅ 如何校验数据完整性

仓库提供逐归档的 SHA-256 清单,下载后可一条命令校验全部 150 个 tar:

awk '!/^#/{print $1"  "$2}' train/checksums.txt | sha256sum -c

每行格式为 sha256 文件名 成员数(50000),例如 train/checksums.txt 中 cabinet_task.tar 对应 50,000 个文件成员。

🚀 上手建议

  • 只想试一条:下载最小任务归档,解压后取 *_0000/ 目录,用任意播放器对比 input_video.mp4 与 target_video.mp4 即可直观理解任务;
  • 做续写训练:以 input_video.mp4 + prompt.txt 为条件、target_video.mp4 为监督目标,trajectory.npz 可作为物理一致性评估基准;
  • 做研究/复现:优先读 README.md 的 Layout 章节,按 shard 粒度拉取数据可显著降低存储压力。

📝 小结

object-permanence 的数据格式用极简的"5 文件约定"承载了完整的世界模型训练闭环:两段视频定义任务(续写 2.5 秒)、提示词统一指令、npz 提供物理真值、metadata 保证可复现。对新手来说,记住这条主线即可:输入视频 + 提示词 → 预测目标视频,npz 负责验证"物体真的还在"。数据采用 CC BY-NC 4.0 许可(见 LICENSE),仅允许非商业用途。

登录后查看全文
object-permanence