CodeVideoBench八大应用场景全览:从游戏运镜、子弹时间到机器人导航,代码视频生成都在考什么

原创2026-11-03 20:18:311,393 阅读

CodeVideoBench八大应用场景全览:从游戏运镜、子弹时间到机器人导航,代码视频生成都在考什么

CodeVideoBench 是一个面向代码视频生成(code-guided video generation)的开源评测基准,收录了 8 大应用场景、共 22 个视频案例。每个案例都提供一套可运行的 Three.js 三维代码视频、参考图像、文本提示词(prompt)以及配套的场景源码,用来考察视频生成模型在运镜、物理、一致性等维度上的真实能力。

如果你正在调研「代码生成视频」到底难在哪、考什么,这份清单能帮你快速看懂它的八大场景设计思路。

一、先认识 CodeVideoBench:一个"代码驱动"的视频评测集

与传统"文生视频"评测不同,CodeVideoBench 的核心是代码即场景。它把每个测试场景都用 Three.js 写成可执行工程,从而保证地面真值(ground truth)完全可控、可复现。

数据统一规格:代码视频为 960 x 544、124 帧 / 24 FPS;参考图为 1536 x 864。案例之间用统一的 ID 关联,_a 与 _b 表示同一场景的成对变体。

仓库目录组织清晰,四类内容一一对应:

目录 内容
Cases/<case>/ code_video.mp4、reference.png、prompt.txt
BaselineControls/<case>/ 基线方法的深度(depth)与轨迹(tracking)控制视频
Programs/<case>/ index.html 与场景源码
Programs/shared/ 运行场景所需的共享依赖

你可以在本地启动一个静态服务来浏览全部案例:

python -m http.server 8000 --bind 127.0.0.1

打开 http://127.0.0.1:8000/ 即可在图库中挑选案例、查看场景代码,并用 World Inspector 实时探索三维场景。

二、八大应用场景逐一看:代码视频生成都在考什么

1. 游戏运镜 Gaming:第一人称高速运动的连贯性

第一个场景是游戏第一人称运镜,考察模型在剧烈运动下的镜头跟随与场景一致性。

  • gaming_01:第一人称高速骑马穿越平原,镜头前伸、草丛掠过、马匹闪避兽群,地平线上的城堡始终稳定可见。
  • gaming_02:第一人称从空投舱跳落到移动坦克上,攀爬、开舱盖,战场在脚下高速掠过,强调强烈载具动势。

它考验的是:流体运镜下物体不漂移、地平线不抖动、主体不形变。

案例路径:Cases/gaming_01/prompt.txt、Cases/gaming_02/prompt.txt

2. 子弹时间 Bullet Time:同一时刻的 4D 一致性

子弹时间是难度极高的场景——时间近乎冻结,镜头却要绕主体做大幅度环绕,要求"同一瞬间"从任意视角都保持一致。

  • bullet_time_01:雨中武士刀剑相交,火花与雨滴在空中悬停,镜头做快速 220 度环绕。
  • bullet_time_02:湿滑赛道上的赛车在漂移顶点完全静止(在世界坐标下),只有镜头从正面绕到侧面再到车尾,强调真实的视角视差而非画面滚动。

它考验的核心是:不可实现的观察角度下,主体、粒子、背景地标在 4D 空间中的严格一致性。

案例路径:Cases/bullet_time_01/prompt.txt

3. 场景/世界编辑 Scene / World Editing:固定元素与遮挡关系保持

这一组考察编辑场景时"该不变的必须不变"。_a 与 _b 是成对变体,对比不同空间布局(如椅子位置、拱门形态)下的元素保持能力。

  • scene_world_editing_01:明亮居家办公室,镜头从高处斜视扫过书桌、下降到椅背细节,要求椅子等家具全程固定。
  • scene_world_editing_02:两个相连画廊,镜头从低处上升穿过拱门/窄门,要求后室始终存在、遮挡物不消失。

它考验的是:镜头运动过程中,无关元素的位置、身份与遮挡关系稳定不变。

案例路径:Cases/scene_world_editing_01_a/prompt.txt

4. 机器人导航 Robotics Simulation:仿生步态与路径跟随

这一组模拟人形 / 四足机器人在实验室中的导航,考察步态与轨迹跟随。_a 为人形机器人,_b 为四足机器狗。

  • robotics_simulation_01:机器人绕工作台与凳子走向玻璃门,要求交替落步、屈膝、摆臂协调,匹配速度、朝向与触地时机。
  • robotics_simulation_02:银色人形与灰色四足分别沿路线行走,强调支撑脚固定、摆动脚抬起前进。

它考验的是:真实步态(脚部触地时序)、不形变替换主体、连续运镜不剪切。

案例路径:Cases/robotics_simulation_01_a/prompt.txt

5. 轨迹变化 Trajectory Variation:同一环境不同行走路线

与上一组同属机器人导航,但重点在于同一环境下的不同轨迹。例如:

  • trajectory_variation_01:机器狗在医院大厅,分别从左侧绕座椅岛、从右侧沿售货机一侧接近电梯。
  • trajectory_variation_02:机器狗在雕塑画廊,一条走 S 形穿过中央雕塑群,另一条沿外墙绕行。

它考验的是:匹配真实行走路线、转向、步态与到达时机,而非仅仅画一条路线线。

案例路径:Cases/trajectory_variation_01_a/prompt.txt

6. 产品运镜 Product Cinematography:连续环绕与细节推进

产品广告级运镜,考察镜头从全景到细节的连续过渡,且全程不能剪切、不能反向拉远。

  • product_cinematography_01:暗色摄影棚里的黑色跑车,从四分之三英雄构图加速做宽幅弧形环绕,最终收束到车轮与刹车细节。
  • product_cinematography_02:白色运动鞋在浅色圆形基座上,镜头做带高度变化的弧形环绕,聚焦鞋面纹理与鞋底。

它考验的是:产品身份稳定、光线扫过时机、连续单镜头运镜。

案例路径:Cases/product_cinematography_01/prompt.txt

7. 物理落地 Physical Grounding:真实因果链与物理可信度

这一组直接考物理正确性,是"看起来像真实实验而非抽象动画"的试金石。

  • physical_grounding_01:桌面多米诺骨牌链式反应,连续撞击跨过小桥,末牌推动钢球、杠杆释放格纹旗,强调"物体只在真实接触后才响应"。
  • physical_grounding_02:保龄球击中立板 → 立板砸到跷跷板 → 弹出小球 → 敲响悬挂铃铛的简短鲁布·戈德堡链条。

该场景底层由 Programs/shared/rapier.mjs(Rapier 物理引擎)驱动真实刚体交互,考察重力、滚动、碰撞、稳定落地等可信物理响应。

案例路径:Cases/physical_grounding_01/prompt.txt

8. 建筑运镜 Architectural Cinematics:复杂空间的透视与视差

最后一组考察大尺度建筑空间的运镜,强调 3D 布局稳定、透视正确、材料真实、视差强烈。

  • architectural_cinematics_01:双层现代 LOFT,镜头从地面进入、绕沙发、沿楼梯上升,最后宽幅揭示夹层。
  • architectural_cinematics_02:环绕中心大树的庭院住宅,镜头从阴凉走廊穿过庭院、绕树过渡到对面的起居区,保持室内外连续性。

它考验的是:长距离运镜下的空间结构一致性与平滑可执行运镜。

案例路径:Cases/architectural_cinematics_01/prompt.txt

三、配套基线控制 BaselineControls:如何量化对比

除了场景本身,每个案例还附带 BaselineControls/ 下的深度视频(depth)与轨迹视频(tracking),用于评估不同基线方法在控制信号下的表现。这些控制视频具有各自方法特定的分辨率与帧率,与主案例通过一致的 case ID 关联。

例如 gaming_01 提供 depth.mp4、depth_vace720.mp4、tracking.mp4 三份控制视频,方便你横向对比"给定深度/轨迹时,视频生成的可控性"。

四、如何上手浏览与复用

  1. 在仓库根目录启动本地服务:python -m http.server 8000 --bind 127.0.0.1
  2. 打开 http://127.0.0.1:8000/,在图库中按场景挑选任意案例
  3. 查看场景代码,并用 World Inspector 实时探索三维场景(相关实现见 Viewer/world-inspector.mjs)
  4. 单独场景也可通过 http://127.0.0.1:8000/Programs/<case>/index.html 直接访问

💡 提示:共享依赖位于 Programs/shared/,包含 Three.js 模块与 Rapier 物理引擎,是各场景可独立运行的关键。

五、小结:这份基准到底在考什么

把八大场景放在一起看,CodeVideoBench 实际上从五个维度给视频生成模型"出题":

  • 运镜能力:游戏、产品、建筑等场景要求复杂、平滑、可执行的镜头运动
  • 4D 一致性:子弹时间要求同一时刻的不可实现视角
  • 元素保持:场景编辑、轨迹变化要求无关元素稳定不变
  • 物理可信:物理落地考察真实因果链与刚体交互
  • 步态/运动跟随:机器人导航考察真实触地时序与路径匹配

它不追求"更花哨的画面",而是把每一帧的地面真值用代码固定下来,从而让代码视频生成的评测第一次变得可复现、可量化。这正是它相比传统文生视频评测集最大的价值所在。

授权说明:Cases/、BaselineControls/ 与缩略图数据采用 CC BY 4.0;项目自研代码与文档采用 MIT;第三方依赖保留各自许可证。详见 LICENSE.md。

登录后查看全文
CodeVideoBench