object-permanence数据格式深度解析:5个文件如何构成一条视频续写训练样本
object-permanence数据格式深度解析:5个文件如何构成一条视频续写训练样本
object-permanence 是一个面向视频模型(世界模型)"物体恒存"(Object Permanence)能力训练的数据集,包含 150 万条 Blender 渲染的视频续写样本。每条样本恰好由 5 个文件组成——2 个视频、1 个文本提示、1 个物理真值、1 个元数据,共同构成一道"看完前 2.5 秒、续写后 2.5 秒"的训练题。本文带你完整拆解这套数据格式的设计逻辑。
📦 数据集概览:150 个任务,150 万条样本
在深入单条样本之前,先看整体规格(详见 README.md):
| 属性 | 值 |
|---|---|
| 任务数 | 150 个,按六大认知类别划分 |
| 样本数 | 1,500,000 条(每个任务 10,000 条) |
| 打包方式 | 150 个 tar 归档,每个任务一个(解压后 0.7–4.1 GB) |
| 总大小 | 214 GB |
| 分辨率 | 1280 × 720,24 fps |
| 片段长度 | 60 帧输入 → 60 帧目标(2.5 s → 2.5 s) |
| 每条样本文件数 | 5 个 |
所有任务归档都放在 train/ 目录下,如 train/cabinet_task.tar、train/three_cup_shell_game_task.tar。🎯 任务命名即场景:抽屉、弹珠机、碰车碰撞、隧道遮挡……每个任务对应一类认知挑战。
🗂 仓库结构:从 tar 包到 shard 分区
解压任意一个任务归档后,目录结构保持渲染分区(shard)的层级:
train/
└── shard1/ # 渲染分区:shard1 = G01–G30 … shard5 = G121–G150
└── cabinet_task/
├── cabinet_0000/
│ ├── input_video.mp4 # 60 帧,1280×720,24 fps —— 上下文
│ ├── target_video.mp4 # 60 帧,同规格 —— 待预测的续写
│ ├── prompt.txt # 场景描述,前缀 "Continue this scene as a short video."
│ ├── trajectory.npz # 全部 120 帧源帧的物体位姿真值
│ └── metadata.json # 参数、来源信息、video_split
├── cabinet_0001/ … cabinet_9999/
└── …
几个值得注意的设计点:
- 样本目录编号从 0000 开始,一个任务 10,000 条样本对应
cabinet_0000到cabinet_9999; - 每个 tar 内含 50,000 个成员(10,000 条样本 × 5 个文件),这一计数记录在 train/checksums.txt 中;
- shard 分区对应渲染时的 GPU 分组(shard1 负责 G01–G30,……shard5 负责 G121–G150),便于断点续渲和并行训练采样。
🔍 核心解析:一条样本的 5 个文件
下面逐一拆解样本目录 cabinet_0000/ 中的 5 个文件,理解它们如何协同构成一条训练样本。
1️⃣ input_video.mp4 —— 模型看到的"上下文"
60 帧、1280 × 720、24 fps 的 MP4 视频,即前 2.5 秒画面。这是模型推理时的输入:训练时它充当条件(condition),让模型"看懂"当前场景里有哪些物体、处于什么运动状态。
2️⃣ target_video.mp4 —— 模型要"续写"的续段
与输入视频同规格(60 帧)的 MP4,即接下来 2.5 秒的标准答案。物体被抽屉藏住、小球滚过弯道……这些"看不见但仍在运动"的后续画面,正是物体恒存能力的考核点。训练时模型对这段做预测,loss 就加在它上面。
💡 两者首尾无缝衔接:第 60 帧(输入结尾)与 target 第 0 帧连续,构成一条完整的 120 帧原始渲染。
3️⃣ prompt.txt —— 统一前缀的场景描述
纯文本提示词,开头统一为 Continue this scene as a short video.,随后是对场景的文字描述。它把"视频续写"任务显式告知模型,保证 150 万条样本的指令风格一致,方便与不同基座模型对接。
4️⃣ trajectory.npz —— 120 帧的物理真值
NumPy 归档(.npz),存储全部 120 个源帧(输入 60 + 目标 60)中每个刚体的位姿真值(ground-truth body poses)。这是合成数据独有的"作弊器":
- 可用于可微渲染/位姿监督,直接对齐物理状态;
- 可用于评估——判断模型续写结果里的物体位置是否与真值吻合;
- 也可作为辅助训练信号,比纯像素 loss 更贴近"物体是否还在"这一认知目标。
5️⃣ metadata.json —— 参数、来源与切分信息
记录该样本的随机化参数(速度、光照、相机角度等 nuisance 参数)、生成来源(provenance)以及 video_split 字段。它保证了:
- 可复现性:任何一条样本都能追溯到生成配置;
- 数据集切分:
video_split支持按划分训练/验证,避免同场景泄漏。
✅ 如何校验数据完整性
仓库提供逐归档的 SHA-256 清单,下载后可一条命令校验全部 150 个 tar:
awk '!/^#/{print $1" "$2}' train/checksums.txt | sha256sum -c
每行格式为 sha256 文件名 成员数(50000),例如 train/checksums.txt 中 cabinet_task.tar 对应 50,000 个文件成员。
🚀 上手建议
- 只想试一条:下载最小任务归档,解压后取
*_0000/目录,用任意播放器对比input_video.mp4与target_video.mp4即可直观理解任务; - 做续写训练:以
input_video.mp4+prompt.txt为条件、target_video.mp4为监督目标,trajectory.npz可作为物理一致性评估基准; - 做研究/复现:优先读 README.md 的 Layout 章节,按 shard 粒度拉取数据可显著降低存储压力。
📝 小结
object-permanence 的数据格式用极简的"5 文件约定"承载了完整的世界模型训练闭环:两段视频定义任务(续写 2.5 秒)、提示词统一指令、npz 提供物理真值、metadata 保证可复现。对新手来说,记住这条主线即可:输入视频 + 提示词 → 预测目标视频,npz 负责验证"物体真的还在"。数据采用 CC BY-NC 4.0 许可(见 LICENSE),仅允许非商业用途。