SolarRenderer-Data held-out 集完全指南:53 条留样视频如何精确复现论文评测
SolarRenderer-Data held-out 集完全指南:53 条留样视频如何精确复现论文评测
SolarRenderer-Data 是 SolarRenderer(少步生成式视频渲染模型,"从结构渲染完整视频")的官方训练数据与基准仓库,其中 benchmark/heldout 目录包含 53 条 held-out(留样)测试视频——正是论文 held-out 评测数字的计算来源,配合官方评分脚本即可精确复现论文 Elo 表。本文将从目录结构、4 类结构条件、prompt 格式讲起,最后给出完整的评测复现步骤,新手也能照做上手。
held-out 集是什么:53 条"真正没见过的"测试视频怎么选
与 hard 划分(结构类型压力测试)不同,held-out 集考察的是模型在真正没见过的引擎录制上的泛化能力——按录制、场景或地图留出,模型训练时从未见过这些片段:
| 来源 | 数量 | 留出粒度 | 结构条件(condition) |
|---|---|---|---|
carla |
14 | 按 clip 留出(地图会出现在训练集) | 语义分割(引擎导出) |
game |
9 | 按录制留出 | 近场着色几何(30 m 内深度) |
magpie |
16 | 按录制 / 场景留出 | 场景灰盒(引擎 white-box) |
unrealzoo |
14 | 按地图留出 | 物体 mask + 角色骨架 |
📌 53 条 clip 统一为 24 fps、158 帧、1344×768,与论文评测规格完全一致。
render.mp4是 ground truth,first_frame.png是真实首帧(非重绘),prompt 与许可信息都在 benchmark/heldout/cases.jsonl 里。
目录结构速查:每条测试视频的 3 个文件
benchmark/heldout/
├── cases.jsonl # 53 条用例:condition / prompt / license
└── clips/<source>/<clip>/
├── condition.mp4 # 结构条件视频
├── first_frame.png # 真实首帧(1344×768)
└── render.mp4 # ground truth
cases.jsonl 每行包含 clip_id、condition、inputs、prompt、ground_truth、files、license 七个字段,53 条的输入统一为 structure + first frame + text。完整目录树见 README 的 Format 段。
4 类结构条件:从语义分割到灰盒深度
每条测试视频的 condition.mp4 都是引擎渲染出的"结构骨架",只给布局、几何、运动与镜头,从不提供材质、颜色与光照(prompt 中的 retention_analysis 会将其显式标记为 attribute_transfer):
- CARLA — 语义分割:每个类别一个平涂颜色(road、sidewalk、building、vehicle…),由引擎直接导出;
- game — 近场着色几何:相机 30 m 内深度的灰色着色渲染,更远场景与天空全黑;
- Magpie — 场景灰盒:无贴图的 white-box 渲染,保留布局、角色身体与镜头;
- UnrealZoo — mask + 骨架:每个物体一个平涂 mask,角色骨架叠加绘制。
prompt 怎么写:6 段式结构化文案
每条 held-out 的 prompt 都按 6 个部分组织,格式统一、便于程序化解析:
subject_definitions— 说明<Video 1>(结构视频)与<Video 2>(首帧)各自是什么;summary— 一句话任务概述(keyframe completion + reference generation);retention_analysis— 声明结构转移哪些属性、首帧哪些内容被fully_preserved;detailed_description— 350–500 词的场景叙述,含 [Shot 1] 时间码;overall_soundscape— 环境声描述;non_diegetic_music— 通常为N/A。
其中指明输入的部分按结构类型使用固定句式,其余内容逐条撰写。下图是一条 Magpie 测试 clip 的真实首帧——模型必须从这一帧出发,并严格跟随 condition.mp4 的灰盒运动生成完整视频。
一键下载 held-out 数据的命令
只下载 benchmark 部分:
hf download Enderfga/SolarRenderer-Data --repo-type dataset --include "benchmark/*"
也可以 clone 仓库后本地浏览:
git clone https://gitcode.com/hf_mirrors/Enderfga/SolarRenderer-Data
如何复现论文 Elo 表:渲染与判定全部开源
复现的关键在于:论文 Elo 表的两个输入都已开源在 results/ 下:
| 路径 | 内容 |
|---|---|
| results/solarrenderer/heldout/ | 53 条渲染,4 步、seed 0(论文中的 Ours 行) |
| results/solarrenderer_causal/heldout/ | causal LoRA 成对模型的流式渲染(每块 4 步、seed 0) |
| results/judge/heldout/ | 22 个方法两两判定的 pairwise 判决文件(JSONL) |
每个 judge 文件 106 行 = 53 条 clip × 2:每一对方法都判定两次、A/B 位置交换,以消除位置偏差。每条判决含 4 道选择题(画面质量、结构与运动保真、首帧遵循、总体)加一条文字理由:
{"case": "heldout/carla/cc000006992", "pair": ["solarrenderer", "longlive_plug_4step"], "swap": 0,
"answer": {"q1_visual_quality": "A", "q2_structure_motion": "tie", "q3_first_frame": "A",
"q4_overall": "A", "reason": "Video A provides better visual clarity..."}}
复现主表步骤:
- 下载渲染与判决:
hf download ... --include "results/*"; - 使用 SolarRenderer 仓库
main分支eval/目录中的评分代码; - 用主表的 9 个方法运行
eval/elo.py --methods,即得论文主表 Elo; - causal 变体只与 SolarRenderer 互判——把它作为第 10 个方法加入、并平移评分使其余 9 个方法平均 1000,即得到它的行。
上手前注意:3 个容易踩的坑
- 🎬 CARLA 按 clip 留出:它的地图仍出现在训练集中,比较泛化能力时注意这一区别;
- ⚖️ 许可:Magpie 片段为 Apache-2.0、CARLA 为 CC BY 4.0,而
game与unrealzoo的引擎录制 仅限研究用途; - 🔍 别把 heldout 与 hard 混淆:
hard用 Nano Banana 重绘首帧 + 多种风格(208 cases),heldout用真实首帧,是论文打分的划分。
想深入 held-out 设计与评测细节,可阅读 README 的 Benchmark 段,prompt 约定与目录规范均有说明。




