SolarRenderer-Data held-out 集完全指南:53 条留样视频如何精确复现论文评测

原创2026-10-21 18:15:211,762 阅读
文章标签:数据集视频人工智能

SolarRenderer-Data held-out 集完全指南:53 条留样视频如何精确复现论文评测

SolarRenderer-Data 是 SolarRenderer(少步生成式视频渲染模型,"从结构渲染完整视频")的官方训练数据与基准仓库,其中 benchmark/heldout 目录包含 53 条 held-out(留样)测试视频——正是论文 held-out 评测数字的计算来源,配合官方评分脚本即可精确复现论文 Elo 表。本文将从目录结构、4 类结构条件、prompt 格式讲起,最后给出完整的评测复现步骤,新手也能照做上手。

SolarRenderer-Data 数据集总览:held-out 集与 benchmark 评测结构

held-out 集是什么:53 条"真正没见过的"测试视频怎么选

与 hard 划分(结构类型压力测试)不同,held-out 集考察的是模型在真正没见过的引擎录制上的泛化能力——按录制、场景或地图留出,模型训练时从未见过这些片段:

来源 数量 留出粒度 结构条件(condition)
carla 14 按 clip 留出(地图会出现在训练集) 语义分割(引擎导出)
game 9 按录制留出 近场着色几何(30 m 内深度)
magpie 16 按录制 / 场景留出 场景灰盒(引擎 white-box)
unrealzoo 14 按地图留出 物体 mask + 角色骨架

📌 53 条 clip 统一为 24 fps、158 帧、1344×768,与论文评测规格完全一致。render.mp4 是 ground truth,first_frame.png 是真实首帧(非重绘),prompt 与许可信息都在 benchmark/heldout/cases.jsonl 里。

目录结构速查:每条测试视频的 3 个文件

benchmark/heldout/
├── cases.jsonl                    # 53 条用例:condition / prompt / license
└── clips/<source>/<clip>/
    ├── condition.mp4              # 结构条件视频
    ├── first_frame.png            # 真实首帧(1344×768)
    └── render.mp4                 # ground truth

cases.jsonl 每行包含 clip_id、condition、inputs、prompt、ground_truth、files、license 七个字段,53 条的输入统一为 structure + first frame + text。完整目录树见 README 的 Format 段。

4 类结构条件:从语义分割到灰盒深度

每条测试视频的 condition.mp4 都是引擎渲染出的"结构骨架",只给布局、几何、运动与镜头,从不提供材质、颜色与光照(prompt 中的 retention_analysis 会将其显式标记为 attribute_transfer):

  • CARLA — 语义分割:每个类别一个平涂颜色(road、sidewalk、building、vehicle…),由引擎直接导出;
  • game — 近场着色几何:相机 30 m 内深度的灰色着色渲染,更远场景与天空全黑;
  • Magpie — 场景灰盒:无贴图的 white-box 渲染,保留布局、角色身体与镜头;
  • UnrealZoo — mask + 骨架:每个物体一个平涂 mask,角色骨架叠加绘制。

CARLA held-out 测试视频首帧:雨夜城市十字路口的真实引擎渲染(ground truth)

game 近场深度条件测试视频首帧:霓虹城市街道上的行走人物

prompt 怎么写:6 段式结构化文案

每条 held-out 的 prompt 都按 6 个部分组织,格式统一、便于程序化解析:

  1. subject_definitions — 说明 <Video 1>(结构视频)与 <Video 2>(首帧)各自是什么;
  2. summary — 一句话任务概述(keyframe completion + reference generation);
  3. retention_analysis — 声明结构转移哪些属性、首帧哪些内容被 fully_preserved;
  4. detailed_description — 350–500 词的场景叙述,含 [Shot 1] 时间码;
  5. overall_soundscape — 环境声描述;
  6. non_diegetic_music — 通常为 N/A。

其中指明输入的部分按结构类型使用固定句式,其余内容逐条撰写。下图是一条 Magpie 测试 clip 的真实首帧——模型必须从这一帧出发,并严格跟随 condition.mp4 的灰盒运动生成完整视频。

Magpie held-out 测试视频首帧:霓虹日本街道黄昏中的铠甲战士

一键下载 held-out 数据的命令

只下载 benchmark 部分:

hf download Enderfga/SolarRenderer-Data --repo-type dataset --include "benchmark/*"

也可以 clone 仓库后本地浏览:

git clone https://gitcode.com/hf_mirrors/Enderfga/SolarRenderer-Data

如何复现论文 Elo 表:渲染与判定全部开源

复现的关键在于:论文 Elo 表的两个输入都已开源在 results/ 下:

路径 内容
results/solarrenderer/heldout/ 53 条渲染,4 步、seed 0(论文中的 Ours 行)
results/solarrenderer_causal/heldout/ causal LoRA 成对模型的流式渲染(每块 4 步、seed 0)
results/judge/heldout/ 22 个方法两两判定的 pairwise 判决文件(JSONL)

每个 judge 文件 106 行 = 53 条 clip × 2:每一对方法都判定两次、A/B 位置交换,以消除位置偏差。每条判决含 4 道选择题(画面质量、结构与运动保真、首帧遵循、总体)加一条文字理由:

{"case": "heldout/carla/cc000006992", "pair": ["solarrenderer", "longlive_plug_4step"], "swap": 0,
 "answer": {"q1_visual_quality": "A", "q2_structure_motion": "tie", "q3_first_frame": "A",
            "q4_overall": "A", "reason": "Video A provides better visual clarity..."}}

复现主表步骤:

  1. 下载渲染与判决:hf download ... --include "results/*";
  2. 使用 SolarRenderer 仓库 main 分支 eval/ 目录中的评分代码;
  3. 用主表的 9 个方法运行 eval/elo.py --methods,即得论文主表 Elo;
  4. causal 变体只与 SolarRenderer 互判——把它作为第 10 个方法加入、并平移评分使其余 9 个方法平均 1000,即得到它的行。

SolarRenderer held-out 评测渲染结果帧:项目页对比图中 ours 一栏截图

上手前注意:3 个容易踩的坑

  • 🎬 CARLA 按 clip 留出:它的地图仍出现在训练集中,比较泛化能力时注意这一区别;
  • ⚖️ 许可:Magpie 片段为 Apache-2.0、CARLA 为 CC BY 4.0,而 game 与 unrealzoo 的引擎录制 仅限研究用途;
  • 🔍 别把 heldout 与 hard 混淆:hard 用 Nano Banana 重绘首帧 + 多种风格(208 cases),heldout 用真实首帧,是论文打分的划分。

想深入 held-out 设计与评测细节,可阅读 README 的 Benchmark 段,prompt 约定与目录规范均有说明。

登录后查看全文
SolarRenderer-Data