camera-movement数据集11列逐列详解:加权票数与detailed_results_movement字段完全参考

原创2026-10-19 11:38:08941 阅读
文章标签:数据集人工智能模型评测排行榜

camera-movement数据集11列逐列详解:加权票数与detailed_results_movement字段完全参考

camera-movement 数据集是一个由人类标注驱动的图生视频镜头运动(camera movement)评测基准,包含 49,369 条模型两两对决记录。本文带你逐列详解 camera-movement 数据集的每一个字段,并完整解读 weighted_results_*_movement 加权票数与 detailed_results_movement 明细投票两个核心字段,帮你快速算出每个模型的真实胜率。

数据集概览:49,369 次人类对决一眼看懂

camera-movement 由 Rapidata 构建,任务是刻意收窄的:场景必须保持原样,只允许镜头运动(推进、横移、升降、摇、俯仰、滚转、变焦或其组合)。每一行记录一次"头对头"对决——两个模型用同一张静帧 + 同一条指令各生成一段视频,由 128 个国家的人类标注员投票判断"哪个视频的镜头运动更符合参考动画"。

关键指标 数值
对决行数(rows) 49,369
人类投票数 324,044(每对至少 5 票,平均 6.6 票)
参赛模型 15 个(9 个商用图生视频模型 + 6 个世界模型)
镜头运动类型 30 种(14 单一动作 / 13 双动作 / 3 三段链式)
输入静帧 22 张
生成视频片段 8,998 条

camera-movement 镜头运动数据集排行榜:15 个图生视频模型与世界模型的 ELO 评分对比

图片说明:官方排行榜截图,可按模型、运动类型、场景等维度筛选,数据源即本数据集的投票结果。

三步下载并加载 camera-movement 数据集

数据以 Parquet 分片存放于 data/ 目录(共 99 个分片,如 data/train-00000-of-00099.parquet),下载解压后单个分片仅约 135 KB,整库很小。

  1. 获取数据:git clone https://gitcode.com/hf_mirrors/Rapidata/camera-movement,或用 datasets 库直接加载;
  2. 加载:load_dataset("Rapidata/camera-movement", split="train");
  3. 取一行看结构:一行 = 一次对决,包含指令、参考动画、输入图、两段视频及投票结果。

逐列详解:一行数据里的 10 个字段

每行是一个"同题对决"的完整档案。以下按列顺序逐一说明 🎬

# 列名 类型 一句话说明
1 prompt string 生成两段视频所用的镜头运动指令
2 reference_gif string 标注员看到的参考动画 URL(代替文字指令)
3 input_image string 两段视频共同来源的输入静帧 URL
4 video1 string model1 生成的视频 URL
5 video2 string model2 生成的视频 URL
6 model1 string 生成 video1 的模型名
7 model2 string 生成 video2 的模型名
8 weighted_results_video1_movement float32 video1 获得的加权票数总和
9 weighted_results_video2_movement float32 video2 获得的加权票数总和
10 detailed_results_movement string 每一张投票的明细 JSON 数组

prompt 与 reference_gif:题目长什么样

prompt 是写给生成器的严格指令,例如 "The camera moves forward, then stops and tilts thirty degrees downward."。措辞遵循铁律:while 表示同时、then 表示先后,且全数据集无任何否定句(因为扩散模型的文本编码器无法理解否定)。

reference_gif 则是由 numpy 光线追踪器渲染的参考动画——30 种运动共用同一个合成场景,唯一变量就是相机。标注员从不阅读文字指令,只对照这个动画判卷,从根上消除了歧义。

video1 / video2 与 model1 / model2:谁和谁打

两列视频 URL 与两列模型名严格一一对应:video1 由 model1 生成,video2 由 model2 生成,且两者源自同一张 input_image、执行同一条 prompt。15 个模型在完全相同的输入下两两相遇,因此横向对比是公平的。

核心字段①:weighted_results_*_movement 加权票数完全参考 ⭐

这是最容易误解的两列,三点必须记牢:

  • 它们是加权票数之和,不是概率——两个值相加不等于 1。每张票的权重是标注员的 userScore(信誉分),值越大代表该标注员历史表现越可靠;
  • 计算胜率:video1 胜率 = w1 / (w1 + w2),官方示例中标注的 "93% of votes" 就是这么算出来的;
  • 可以为 0:例如某行 w1=2.93、w2=0.0,表示所有票都投给了 video1,但加权总和仍是 2.93 而非 1.0。

核心字段②:detailed_results_movement 明细投票完全参考 ⭐

这一列是一个 JSON 数组字符串,保存该对视频的每一张票,字段包括:

JSON 字段 含义
votedFor 投给谁:A = video1,B = video2
userScore 该标注员的信誉权重(加权票数的来源)
votedAt 投票时间(ISO 8601)
country / language 标注员所在国家与语言(来自 128 个国家)
gender / ageBucket / occupation 人口学信息,可用于分群分析

由于投票前先要通过"已知答案"门槛(正确率 ≥75% 才能上岗),这里的每一张票都经过资质筛选,userScore 则进一步区分标注员质量。

两个高频问题 FAQ

Q1:加权票数能直接当胜率用吗? 不能,必须先归一化:w1 / (w1 + w2)。

Q2:想复算票数或做分国家统计怎么办? 解析 detailed_results_movement 即可——json.loads 后按 votedFor 过滤,对 userScore 求和,即可复现两列加权票数,也能按 country 等维度切片分析。

相关文件资料

许可证提示:指令与参考动画、人类标注为 CC-BY-4.0;生成视频受各模型服务商条款约束。

掌握这 10 列——尤其是加权票数的归一化计算与明细 JSON 的字段结构——你就可以独立完成 camera-movement 数据集的胜率统计、分运动难度切片与标注质量分析了。

登录后查看全文
camera-movement