camera-movement数据集11列逐列详解:加权票数与detailed_results_movement字段完全参考
camera-movement数据集11列逐列详解:加权票数与detailed_results_movement字段完全参考
camera-movement 数据集是一个由人类标注驱动的图生视频镜头运动(camera movement)评测基准,包含 49,369 条模型两两对决记录。本文带你逐列详解 camera-movement 数据集的每一个字段,并完整解读 weighted_results_*_movement 加权票数与 detailed_results_movement 明细投票两个核心字段,帮你快速算出每个模型的真实胜率。
数据集概览:49,369 次人类对决一眼看懂
camera-movement 由 Rapidata 构建,任务是刻意收窄的:场景必须保持原样,只允许镜头运动(推进、横移、升降、摇、俯仰、滚转、变焦或其组合)。每一行记录一次"头对头"对决——两个模型用同一张静帧 + 同一条指令各生成一段视频,由 128 个国家的人类标注员投票判断"哪个视频的镜头运动更符合参考动画"。
| 关键指标 | 数值 |
|---|---|
| 对决行数(rows) | 49,369 |
| 人类投票数 | 324,044(每对至少 5 票,平均 6.6 票) |
| 参赛模型 | 15 个(9 个商用图生视频模型 + 6 个世界模型) |
| 镜头运动类型 | 30 种(14 单一动作 / 13 双动作 / 3 三段链式) |
| 输入静帧 | 22 张 |
| 生成视频片段 | 8,998 条 |
图片说明:官方排行榜截图,可按模型、运动类型、场景等维度筛选,数据源即本数据集的投票结果。
三步下载并加载 camera-movement 数据集
数据以 Parquet 分片存放于 data/ 目录(共 99 个分片,如 data/train-00000-of-00099.parquet),下载解压后单个分片仅约 135 KB,整库很小。
- 获取数据:
git clone https://gitcode.com/hf_mirrors/Rapidata/camera-movement,或用datasets库直接加载; - 加载:
load_dataset("Rapidata/camera-movement", split="train"); - 取一行看结构:一行 = 一次对决,包含指令、参考动画、输入图、两段视频及投票结果。
逐列详解:一行数据里的 10 个字段
每行是一个"同题对决"的完整档案。以下按列顺序逐一说明 🎬
| # | 列名 | 类型 | 一句话说明 |
|---|---|---|---|
| 1 | prompt |
string | 生成两段视频所用的镜头运动指令 |
| 2 | reference_gif |
string | 标注员看到的参考动画 URL(代替文字指令) |
| 3 | input_image |
string | 两段视频共同来源的输入静帧 URL |
| 4 | video1 |
string | model1 生成的视频 URL |
| 5 | video2 |
string | model2 生成的视频 URL |
| 6 | model1 |
string | 生成 video1 的模型名 |
| 7 | model2 |
string | 生成 video2 的模型名 |
| 8 | weighted_results_video1_movement |
float32 | video1 获得的加权票数总和 |
| 9 | weighted_results_video2_movement |
float32 | video2 获得的加权票数总和 |
| 10 | detailed_results_movement |
string | 每一张投票的明细 JSON 数组 |
prompt 与 reference_gif:题目长什么样
prompt 是写给生成器的严格指令,例如 "The camera moves forward, then stops and tilts thirty degrees downward."。措辞遵循铁律:while 表示同时、then 表示先后,且全数据集无任何否定句(因为扩散模型的文本编码器无法理解否定)。
reference_gif 则是由 numpy 光线追踪器渲染的参考动画——30 种运动共用同一个合成场景,唯一变量就是相机。标注员从不阅读文字指令,只对照这个动画判卷,从根上消除了歧义。
video1 / video2 与 model1 / model2:谁和谁打
两列视频 URL 与两列模型名严格一一对应:video1 由 model1 生成,video2 由 model2 生成,且两者源自同一张 input_image、执行同一条 prompt。15 个模型在完全相同的输入下两两相遇,因此横向对比是公平的。
核心字段①:weighted_results_*_movement 加权票数完全参考 ⭐
这是最容易误解的两列,三点必须记牢:
- 它们是加权票数之和,不是概率——两个值相加不等于 1。每张票的权重是标注员的
userScore(信誉分),值越大代表该标注员历史表现越可靠; - 计算胜率:
video1 胜率 = w1 / (w1 + w2),官方示例中标注的 "93% of votes" 就是这么算出来的; - 可以为 0:例如某行
w1=2.93、w2=0.0,表示所有票都投给了 video1,但加权总和仍是 2.93 而非 1.0。
核心字段②:detailed_results_movement 明细投票完全参考 ⭐
这一列是一个 JSON 数组字符串,保存该对视频的每一张票,字段包括:
| JSON 字段 | 含义 |
|---|---|
votedFor |
投给谁:A = video1,B = video2 |
userScore |
该标注员的信誉权重(加权票数的来源) |
votedAt |
投票时间(ISO 8601) |
country / language |
标注员所在国家与语言(来自 128 个国家) |
gender / ageBucket / occupation |
人口学信息,可用于分群分析 |
由于投票前先要通过"已知答案"门槛(正确率 ≥75% 才能上岗),这里的每一张票都经过资质筛选,userScore 则进一步区分标注员质量。
两个高频问题 FAQ
Q1:加权票数能直接当胜率用吗? 不能,必须先归一化:w1 / (w1 + w2)。
Q2:想复算票数或做分国家统计怎么办? 解析 detailed_results_movement 即可——json.loads 后按 votedFor 过滤,对 userScore 求和,即可复现两列加权票数,也能按 country 等维度切片分析。
相关文件资料
- 数据集说明与排行榜:README.md(含列定义、构建流程、已知局限)
- 数据分片目录:data/,示例文件 data/train-00000-of-00099.parquet
- 排行榜截图:media/leaderboard.png
许可证提示:指令与参考动画、人类标注为 CC-BY-4.0;生成视频受各模型服务商条款约束。
掌握这 10 列——尤其是加权票数的归一化计算与明细 JSON 的字段结构——你就可以独立完成 camera-movement 数据集的胜率统计、分运动难度切片与标注质量分析了。
