Object Permanence Benchmark 数据结构深度解析:5 个文件如何构成一道"视频续写考题"

原创2026-10-19 20:18:481,864 阅读

Object Permanence Benchmark 数据结构深度解析:5 个文件如何构成一道"视频续写考题"

本文将逐层拆解 object-permanence-benchmark 数据集的 Object Permanence Benchmark 数据结构:这里存放的是一份"300 道题的视频续写考卷",以及 14 个视频模型对它的作答。每一道考题都由 5 个文件按固定契约组成——两段视频、一份文字指令、一份逐帧真值、一份元数据。理解这份结构,你就理解了如何评测一个视频模型的"物体恒存性(object permanence)"能力。

一眼看懂:考卷与答卷的目录布局

整个仓库只分两大块:eval/ 是考卷,results/ 是答卷。

.
├── LICENSE
├── eval/                                  # 考卷:150 任务 × 2 样本 = 300 题
│   └── shard1 ~ shard5/                   # 5 个分片,每片 30 个任务
│       └── <task>_task/
│           ├── <task>_0000/               # 第 1 题:固定 5 个文件
│           └── <task>_0001/               # 第 2 题:同样 5 个文件
└── results/                               # 答卷:4,197 个 mp4
    └── <model>/<task>_task/<sample_id>.mp4
  • 300 道题:150 个手工设计的认知任务,每个任务随机化渲染出 _0000 / _0001 两个样本;
  • 14 个模型:1 个自研世界模型(PWM-WROP)、5 个开源基线、8 个商用模型,全部作答同一套题;
  • 每份答卷 results/<model>/<task>_task/<sample_id>.mp4 都是对 eval/<shard>/<task>_task/<sample_id>/input_video.mp4 的视频续写。
模型目录 类型 模型目录 类型
pwm-wrop 自研 16B 世界模型 ltx-2.3-dev-v2v 开源
cosmos3-super-v2v 商用 ltx-2.3-extend 开源
gemini-omni-flash-1.1-video-edit 商用 magi-24b-v2v 开源
grok-imagine-video-extend 商用 minimax-h3-v2v 开源
hy-omniweaving-v2v 商用 wan-3.0-prime-video-edit 商用
kling-o3-pro-video-edit 商用 wan-vace-14b-v2v 开源
seedance-2.5-v2v 商用 runway-aleph-v2v 商用

一道题的 5 文件契约

以题目 bottom_rail_screen_0000 为例,题目目录 下恰好是这 5 个文件:

文件 角色 关键点
input_video.mp4 题干 1280×720、24 fps,前 60 帧——模型唯一"看得见"的部分
target_video.mp4 参考答案 紧随其后的 60 帧,即"标准续写"
prompt.txt 续写指令 一段英文,说明场景、遮挡动作与"必须保持不变"的要求
trajectory.npz 逐帧真值 场景中每个物体的位置、朝向、速度
metadata.json 元数据 任务契约、评分契约、场景状态图、生成来源

metadata.json 中的 video_split 字段明确了两段视频的关系:整段 120 帧,在 split_index: 60 处对半分——前一半是 input,后一半是 target。这就是"续写"任务的标准定义。

文件③:prompt.txt 是"出题意图"

prompt.txt 只有一句话,但信息密度很高:

A navy ball and a yellow cube are visible. A single large opaque screen rides on a bottom double rail… slides into the center foreground to fully hide the objects, then slides back right. The same ball and cube must reappear unchanged.

注意最后一句——它把"考什么"写明了:屏幕完全遮挡后,物体必须原样复现。每条 prompt 都随场景自动生成,覆盖物体、遮挡装置、运动过程和守恒要求,模型只需结合"视频 + 这段文字"就能作答。

文件④:metadata.json 是题目的"灵魂"

metadata.json 大约 2 万行,核心字段可分为四组:

① 身份与生成参数:task_id、generator(如 G26_bottom_rail_screen)、schema_version,以及 parameters 里的随机种子 seed 和变换记录 applied_transforms(例如把蓝色方块重染成黄色、橙色球重染成藏青色)——同一任务结构,不同颜色/光照/速度,保证任务结构不变而视觉参数被随机化。

② 任务契约 task_contract:给判卷用的"验收清单"。expected_final_state 列出了必须满足的性质:

"identity_preserved": true,
"color_preserved": true,
"size_preserved": true,
"count_conserved": true

failure_tags 则列出典型失分点:object_disappears(物体消失)、wrong_count(数量错误)、identity_swap(身份互换)等。

③ 场景状态图 scene_state_graph:列出每个物体的形状、角色与颜色,并标记 is_target——哪些是被考的目标物体(如 orange_ball、blue_cube),哪些只是道具(如 single_bottom_rail_screen)。

④ 评分与来源:scoring_contract 指明评估器 PermanencePhysicsEvaluator 需要 target_video 和场景状态图;provenance 记录生成脚本,例如三杯球任务的 metadata.json 来自 pb_task_00000102_pb_three_cup_shell_game_0103_blender.py。

文件⑤:trajectory.npz 提供逐帧真值

trajectory.npz 是 NPZ 压缩的数值真值,让评分可以精确到"每一帧每个物体在哪"。字段说明(见 metadata 的 trajectory 节):

字段 形状 含义
xpos [T, N, 3] 每个物体的世界坐标
xquat [T, N, 4] 四元数朝向 [w, x, y, z]
qpos / qvel [T, N*7] / [T, N*6] 每体的 7 自由度位姿 / 6 自由度速度
body_names / body_roles [N] 物体名与角色
is_target [N] 布尔掩码:哪些是被考物体

例如 three_cup_shell_game_0000 共 120 帧、8 个刚体。有了这份真值,评测就不必依赖像素级对比,可以直接核对"第 80 帧球还在不在杯下"。

答卷区:results/ 的 14 份"成绩单"

results/ 下每个模型目录都是同一套命名契约。想对比某个模型与参考答案,路径一一对应即可:

14 个模型目录合计 4,197 个 mp4(runway-aleph-v2v 为 297 个),其余模型全部作答了 300 题,可逐题横向对比。

快速上手:拿到数据怎么用

git clone https://gitcode.com/hf_mirrors/Hokin/object-permanence-benchmark

拿到数据后最常见的两个动作:

  1. 人工看片:并排播放 input_video.mp4(题干)→ results/<model>/.../xxx_0000.mp4(模型续写)→ target_video.mp4(参考答案),直观感受模型是否让物体"消失、变色、互换身份";
  2. 程序化评测:读取 metadata.json 里的 task_contract 与 scene_state_graph,结合 trajectory.npz 的逐帧真值,对照 failure_tags 自动打标签计分。

小结

问题 答案
一道题由几个文件构成? 5 个:input/target 两段视频、prompt、trajectory、metadata
视频规格? 1280×720、24 fps,各 60 帧(整段 120 帧对半切分)
如何对齐"题干-答案"? results/<model>/<task>/<sample>.mp4 ↔ eval/<shard>/<task>/<sample>/
评分依据? task_contract 验收清单 + trajectory.npz 逐帧真值

Object Permanence Benchmark 用一份极简的"5 文件契约",把认知科学任务、随机化生成参数、逐帧物理真值和模型答卷全部串成了可自动评分的闭环——这正是它区别于普通视频数据集的关键设计。

许可说明:数据采用 CC BY-NC 4.0,仅限非商业用途。

登录后查看全文
object-permanence-benchmark