Object Permanence Benchmark 数据结构深度解析:5 个文件如何构成一道"视频续写考题"
Object Permanence Benchmark 数据结构深度解析:5 个文件如何构成一道"视频续写考题"
本文将逐层拆解 object-permanence-benchmark 数据集的 Object Permanence Benchmark 数据结构:这里存放的是一份"300 道题的视频续写考卷",以及 14 个视频模型对它的作答。每一道考题都由 5 个文件按固定契约组成——两段视频、一份文字指令、一份逐帧真值、一份元数据。理解这份结构,你就理解了如何评测一个视频模型的"物体恒存性(object permanence)"能力。
一眼看懂:考卷与答卷的目录布局
整个仓库只分两大块:eval/ 是考卷,results/ 是答卷。
.
├── LICENSE
├── eval/ # 考卷:150 任务 × 2 样本 = 300 题
│ └── shard1 ~ shard5/ # 5 个分片,每片 30 个任务
│ └── <task>_task/
│ ├── <task>_0000/ # 第 1 题:固定 5 个文件
│ └── <task>_0001/ # 第 2 题:同样 5 个文件
└── results/ # 答卷:4,197 个 mp4
└── <model>/<task>_task/<sample_id>.mp4
- 300 道题:150 个手工设计的认知任务,每个任务随机化渲染出
_0000/_0001两个样本; - 14 个模型:1 个自研世界模型(PWM-WROP)、5 个开源基线、8 个商用模型,全部作答同一套题;
- 每份答卷
results/<model>/<task>_task/<sample_id>.mp4都是对eval/<shard>/<task>_task/<sample_id>/input_video.mp4的视频续写。
| 模型目录 | 类型 | 模型目录 | 类型 |
|---|---|---|---|
| pwm-wrop | 自研 16B 世界模型 | ltx-2.3-dev-v2v | 开源 |
| cosmos3-super-v2v | 商用 | ltx-2.3-extend | 开源 |
| gemini-omni-flash-1.1-video-edit | 商用 | magi-24b-v2v | 开源 |
| grok-imagine-video-extend | 商用 | minimax-h3-v2v | 开源 |
| hy-omniweaving-v2v | 商用 | wan-3.0-prime-video-edit | 商用 |
| kling-o3-pro-video-edit | 商用 | wan-vace-14b-v2v | 开源 |
| seedance-2.5-v2v | 商用 | runway-aleph-v2v | 商用 |
一道题的 5 文件契约
以题目 bottom_rail_screen_0000 为例,题目目录 下恰好是这 5 个文件:
| 文件 | 角色 | 关键点 |
|---|---|---|
| input_video.mp4 | 题干 | 1280×720、24 fps,前 60 帧——模型唯一"看得见"的部分 |
| target_video.mp4 | 参考答案 | 紧随其后的 60 帧,即"标准续写" |
| prompt.txt | 续写指令 | 一段英文,说明场景、遮挡动作与"必须保持不变"的要求 |
| trajectory.npz | 逐帧真值 | 场景中每个物体的位置、朝向、速度 |
| metadata.json | 元数据 | 任务契约、评分契约、场景状态图、生成来源 |
metadata.json 中的 video_split 字段明确了两段视频的关系:整段 120 帧,在 split_index: 60 处对半分——前一半是 input,后一半是 target。这就是"续写"任务的标准定义。
文件③:prompt.txt 是"出题意图"
prompt.txt 只有一句话,但信息密度很高:
A navy ball and a yellow cube are visible. A single large opaque screen rides on a bottom double rail… slides into the center foreground to fully hide the objects, then slides back right. The same ball and cube must reappear unchanged.
注意最后一句——它把"考什么"写明了:屏幕完全遮挡后,物体必须原样复现。每条 prompt 都随场景自动生成,覆盖物体、遮挡装置、运动过程和守恒要求,模型只需结合"视频 + 这段文字"就能作答。
文件④:metadata.json 是题目的"灵魂"
metadata.json 大约 2 万行,核心字段可分为四组:
① 身份与生成参数:task_id、generator(如 G26_bottom_rail_screen)、schema_version,以及 parameters 里的随机种子 seed 和变换记录 applied_transforms(例如把蓝色方块重染成黄色、橙色球重染成藏青色)——同一任务结构,不同颜色/光照/速度,保证任务结构不变而视觉参数被随机化。
② 任务契约 task_contract:给判卷用的"验收清单"。expected_final_state 列出了必须满足的性质:
"identity_preserved": true,
"color_preserved": true,
"size_preserved": true,
"count_conserved": true
failure_tags 则列出典型失分点:object_disappears(物体消失)、wrong_count(数量错误)、identity_swap(身份互换)等。
③ 场景状态图 scene_state_graph:列出每个物体的形状、角色与颜色,并标记 is_target——哪些是被考的目标物体(如 orange_ball、blue_cube),哪些只是道具(如 single_bottom_rail_screen)。
④ 评分与来源:scoring_contract 指明评估器 PermanencePhysicsEvaluator 需要 target_video 和场景状态图;provenance 记录生成脚本,例如三杯球任务的 metadata.json 来自 pb_task_00000102_pb_three_cup_shell_game_0103_blender.py。
文件⑤:trajectory.npz 提供逐帧真值
trajectory.npz 是 NPZ 压缩的数值真值,让评分可以精确到"每一帧每个物体在哪"。字段说明(见 metadata 的 trajectory 节):
| 字段 | 形状 | 含义 |
|---|---|---|
xpos |
[T, N, 3] |
每个物体的世界坐标 |
xquat |
[T, N, 4] |
四元数朝向 [w, x, y, z] |
qpos / qvel |
[T, N*7] / [T, N*6] |
每体的 7 自由度位姿 / 6 自由度速度 |
body_names / body_roles |
[N] |
物体名与角色 |
is_target |
[N] |
布尔掩码:哪些是被考物体 |
例如 three_cup_shell_game_0000 共 120 帧、8 个刚体。有了这份真值,评测就不必依赖像素级对比,可以直接核对"第 80 帧球还在不在杯下"。
答卷区:results/ 的 14 份"成绩单"
results/ 下每个模型目录都是同一套命名契约。想对比某个模型与参考答案,路径一一对应即可:
- 模型答卷:pwm-wrop/three_cup_shell_game_task/three_cup_shell_game_0000.mp4
- 参考答卷:three_cup_shell_game_0000/target_video.mp4
- 题干视频:three_cup_shell_game_0000/input_video.mp4
14 个模型目录合计 4,197 个 mp4(runway-aleph-v2v 为 297 个),其余模型全部作答了 300 题,可逐题横向对比。
快速上手:拿到数据怎么用
git clone https://gitcode.com/hf_mirrors/Hokin/object-permanence-benchmark
拿到数据后最常见的两个动作:
- 人工看片:并排播放
input_video.mp4(题干)→results/<model>/.../xxx_0000.mp4(模型续写)→target_video.mp4(参考答案),直观感受模型是否让物体"消失、变色、互换身份"; - 程序化评测:读取
metadata.json里的task_contract与scene_state_graph,结合trajectory.npz的逐帧真值,对照failure_tags自动打标签计分。
小结
| 问题 | 答案 |
|---|---|
| 一道题由几个文件构成? | 5 个:input/target 两段视频、prompt、trajectory、metadata |
| 视频规格? | 1280×720、24 fps,各 60 帧(整段 120 帧对半切分) |
| 如何对齐"题干-答案"? | results/<model>/<task>/<sample>.mp4 ↔ eval/<shard>/<task>/<sample>/ |
| 评分依据? | task_contract 验收清单 + trajectory.npz 逐帧真值 |
Object Permanence Benchmark 用一份极简的"5 文件契约",把认知科学任务、随机化生成参数、逐帧物理真值和模型答卷全部串成了可自动评分的闭环——这正是它区别于普通视频数据集的关键设计。
许可说明:数据采用 CC BY-NC 4.0,仅限非商业用途。