如何用OPSD-V生成243帧长视频:文本提示词、LMDB推理与确定性种子完整命令参考
如何用OPSD-V生成243帧长视频:文本提示词、LMDB推理与确定性种子完整命令参考
OPSD-V(On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators)是一种面向少步自回归视频生成器的后训练范式:它保持原有 4 步去噪采样器不变,却能显著缓解长视频 rollout 中的误差累积与运动退化。本文面向新手,完整讲解三条核心命令模式:用文本提示词生成 243 帧长视频、基于预计算嵌入的 LMDB 推理,以及 --per_prompt_seed 确定性种子机制,并附上参数速查表与诊断实验复现方法。
为什么 OPSD-V 适合做长视频生成
少步自回归生成器每生成一个 chunk(3 帧)就写入 KV cache,后续所有帧都依赖它。因此早期的小瑕疵会不断累积。OPSD-V 的解法是:
- 学生(Student):完全按照部署时的生成轨迹 rollout,KV cache 由自己生成的内容更新;
- 教师(Teacher):在与学生相同的去噪状态上评估,但旧历史换成真实视频上下文,得到更"干净"的监督信号;
- 不改推理路径:推理时仍是固定的 4 步少步采样器,无额外开销。
其动机诊断实验表明:仅把旧 cache 历史用真实视频刷新,就能明显改善 rollout 质量,说明 cache 退化正是长视频质量瓶颈。
环境与检查点准备
推荐 Python 3.10 + PyTorch 2.5+(因果 Wan 模块使用了 torch.nn.attention.flex_attention),安装步骤详见 requirements.txt。
git clone https://gitcode.com/gh_mirrors/op/OPSD-V opsd-v
cd opsd-v
pip install torch==2.5.1 torchvision==0.20.1 \
--index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
下载两类检查点到 checkpoints/:
# 1. Wan2.1-T2V-1.3B 基座
hf download Wan-AI/Wan2.1-T2V-1.3B \
--local-dir checkpoints/Wan2.1-T2V-1.3B
# 2. OPSD-V 发布的生成器与 LoRA 权重
hf download MeiGen-AI/OPSD-V \
checkpoints/longlive_base.pt \
checkpoints/longlive_lora.pt \
checkpoints/opsdv_longlive_lora.pt \
checkpoints/self_forcing_dmd_ema_as_generator.pt \
checkpoints/opsdv_self_forcing_lora.pt \
--local-dir .
各检查点的用途见 README.md。FlashAttention 2/3 可选但强烈建议安装,长视频推理提速明显。
方式一:文本提示词生成 243 帧长视频
把提示词写进一个 txt 文件(每行一条),仓库自带示例可直接使用:example/long_example.txt(8 条长视频提示词)和 example/MovieGenVideoBench_extended.txt。
LongLive 基座 + OPSD-V LoRA(配置见 configs/inference_longlive.yaml):
CUDA_VISIBLE_DEVICES=0 python inference.py \
--config_path configs/inference_longlive.yaml \
--data_path example/long_example.txt \
--output_folder outputs/longlive \
--num_output_frames 243 \
--seed_list 1,2 \
--use_lmdb_pipeline \
--lmdb_cache_update_source generated \
--lmdb_use_relative_sink \
--per_prompt_seed
Self-Forcing 基座只需换配置(configs/inference_self_forcing.yaml):
CUDA_VISIBLE_DEVICES=0 python inference.py \
--config_path configs/inference_self_forcing.yaml \
--data_path example/MovieGenVideoBench_extended.txt \
--output_folder outputs/self_forcing \
--num_output_frames 243 \
--seed_list 1,2 \
--use_lmdb_pipeline \
--lmdb_cache_update_source generated \
--lmdb_use_relative_sink \
--per_prompt_seed
要点说明:
| 要点 | 说明 |
|---|---|
--num_output_frames 243 |
生成 243 帧 latent 帧数,对应 480×832 分辨率下约 15 秒视频 |
--seed_list 1,2 |
对每条提示词分别用 1、2 两个种子跑一遍,结果分别存入 seed_1/、seed_2/ 子目录 |
--use_lmdb_pipeline |
即使提示词来自 txt,也走缓存感知的 OPSD-V 推理管线(更新自回归 cache + 相对 sink) |
| 输出 | 16 FPS 的 mp4,视频名由"提示词截断 + 索引"自动重命名 |
入口逻辑在 inference.py:已存在的输出文件会自动跳过,中断后重跑即可断点续跑。
方式二:LMDB 推理(预计算嵌入 + 真实视频 latent)
评测或诊断场景下,可以直接从 LMDB 读取预计算文本嵌入和真实视频 latent,无需在线编码提示词。LMDB 由 data_processing/ 下的四步预处理流水线生成(流程详见 data_processing/README.md),其中 latent 形状为 N 243 16 60 104。
CUDA_VISIBLE_DEVICES=0 python inference.py \
--config_path configs/inference_longlive.yaml \
--data_path data/eval.lmdb \
--output_folder outputs/eval \
--num_output_frames 243 \
--use_lmdb \
--lmdb_cache_update_source generated \
--lmdb_use_relative_sink \
--per_prompt_seed
与文本模式的差别仅两处:
--data_path指向.lmdb目录而非 txt 文件;- 用
--use_lmdb替代--use_lmdb_pipeline,由 InferencePromptEmbedsVideoLMDBDataset 直接加载嵌入与 GT latent。
确定性种子:--per_prompt_seed 怎么用
--per_prompt_seed(inference.py)会为每条提示词派生独立的确定性噪声种子:
case_seed = seed × stride + prompt_index
默认 stride 为 100000(可用 --per_prompt_seed_stride 调整),噪声采样逻辑见 _case_seed 与 _randn_noise。
它解决一个很实际的痛点:跑大批量评测时任务中断,重跑会跳过已生成的提示词——若用全局种子,后续提示词的噪声会整体漂移,导致前后结果不可复现。开启该参数后,每条提示词的噪声只取决于 (seed, 提示词下标),与执行顺序无关,✅ 天然支持断点续跑且逐条可复现。
⚡ 小贴士:--seed_list 指定多个种子时,每个种子还会先经 set_seed 初始化全局随机状态(inference.py),两层机制叠加保证批量评测的稳定性。
核心参数速查
| 参数 | 默认值 | 说明 |
|---|---|---|
--config_path |
必填 | 推理 YAML 配置 |
--data_path |
必填 | 提示词 txt 或 LMDB 路径 |
--output_folder |
必填 | 输出目录 |
--num_output_frames |
21 | latent 帧数,长视频设为 243 |
--seed / --seed_list |
0 / 空 | 单种子或逗号分隔的多种子列表 |
--per_prompt_seed |
关 | 按 (seed, 提示词索引) 派生确定性种子 |
--use_lmdb |
关 | 从 LMDB 读提示词/嵌入/latent |
--use_lmdb_pipeline |
关 | txt 提示词也走 LMDB 增强推理管线 |
--lmdb_cache_update_source |
generated | KV cache 更新来源:generated 或 gt |
--lmdb_use_relative_sink |
关 | 使用首 chunk 持久 sink + 相对 RoPE |
--use_ema / --use_lora_ema |
关 | 使用 EMA 权重 |
--checkpoint_path |
配置值 | 覆盖生成器检查点路径 |
推理管线实现位于 pipeline/causal_inference_lmdb.py,因果注意力模块在 wan/modules/causal_model.py。
进阶:复现 GT-cache 诊断实验
🔍 论文中的动机实验可以用 LMDB 一键复现:同一检查点、同一提示词与种子,对比 generated(标准 rollout)与 gt(旧 cache 用真实视频 latent 刷新、仅最近 chunk 由模型生成)两种缓存策略。以 LongLive 为例:
# generated:标准自回归 rollout
CUDA_VISIBLE_DEVICES=0 python inference.py \
--config_path configs/inference_longlive_original.yaml \
--data_path data/eval.lmdb \
--output_folder outputs/longlive_generated_cache \
--num_output_frames 243 \
--use_lmdb \
--lmdb_use_gt_first_chunk \
--lmdb_cache_update_source generated \
--lmdb_use_relative_sink \
--per_prompt_seed
# gt:旧历史由真实视频刷新
CUDA_VISIBLE_DEVICES=0 python inference.py \
--config_path configs/inference_longlive_original.yaml \
--data_path data/eval.lmdb \
--output_folder outputs/longlive_gt_cache \
--num_output_frames 243 \
--use_lmdb \
--lmdb_use_gt_first_chunk \
--lmdb_cache_update_source gt \
--lmdb_use_relative_sink \
--per_prompt_seed
注意:暴露 GT cache 替换或未来 GT 上下文的参数属于诊断工具,不是标准开放式生成配置。两组输出的直观对比如下(生成 cache vs 数据辅助 cache):
Self-Forcing 基座的对应命令见 README.md(使用 configs/inference_self_forcing_original.yaml,不加载 LoRA)。
常见问题
- 显存不足? 空闲显存低于 40 GB 时,文本编码器会自动做动态换入换出(见 utils/memory.py);安装 FlashAttention 可进一步降耗。
- 换分辨率或帧数? 非 480×832 / 243 帧设置需同步修改训练与推理配置,LMDB 中 latent 形状也要匹配。
- 输出在哪? 视频保存在
--output_folder下(多种子时位于seed_x/子目录),同时输出resolved_config.yaml与run_args.yaml便于追溯每次运行参数。
关键文件索引
| 文件 | 作用 |
|---|---|
| inference.py | 文本 / LMDB 推理入口 |
| configs/inference_longlive.yaml | LongLive 基座推理配置 |
| configs/inference_self_forcing.yaml | Self-Forcing 基座推理配置 |
| example/long_example.txt | 长视频提示词示例 |
| data_processing/README.md | LMDB 数据预处理流水线 |
| pipeline/causal_inference_lmdb.py | 缓存感知推理管线实现 |
| tools/merge_lora_to_generator.py | LoRA 权重合并工具 |
按本文的命令组合——243 帧帧数 + 文本提示词或 LMDB 数据源 + --per_prompt_seed 确定性种子——即可完成从快速验证到批量评测的完整长视频生成工作流。



