GigaWorld-1 推理完全手册:i2v 与 t2v 双模式、控制视频与 33 秒长时 rollout 参数详解

原创2026-10-13 23:02:561,961 阅读

GigaWorld-1 推理完全手册:i2v 与 t2v 双模式、控制视频与 33 秒长时 rollout 参数详解

GigaWorld-1 是一个面向机器人策略评估的开源世界模型项目,完整开放了推理工作流:支持 i2v(图生视频) 与 t2v(文生视频) 双模式,可接入 Plücker 控制视频,并能在一条命令下生成 10 FPS、330 帧、约 33 秒的三视角长时 rollout 视频。本文面向新手,详解推理脚本怎么用、每个参数的含义,以及如何调整生成时长与分辨率。

🎬 GigaWorld-1 是什么

GigaWorld-1 把"视频生成模型"当作**策略评估器(policy evaluator)**来使用:给定机器人初始画面和动作控制信号,模型预测未来场景的演化,从而在"世界模型"中评估机器人策略的表现。项目提供两个规模的推理权重:

模型 参数量 基座 适用场景
Nano 1.3B Wan 2.1 FunControl 消费级显卡、快速验证
Pro 5B Wan 2.2 FunControl 更高画质与 3D 一致性

项目主页概览:

GigaWorld-1 机器人世界模型项目主页:面向机器人策略评估的世界模型推理与演示

推理代码的核心入口是 infer/infer_giga_world.py,四条一键脚本封装在 scripts/infer/ 目录下,覆盖「Nano / Pro × i2v / t2v」四种组合。

🚀 一键启动:四选一脚本

推理前需要先用仓库自带的下载工具拉取权重(脚本见 tools/download_tool/download_giga_world.sh),按 README 约定放入 model/stage1/nano/ 或 model/stage1/pro/。随后只需一条命令:

# Nano(1.3B)i2v:首帧图片 + 控制视频 + 文本提示
bash scripts/infer/run_infer_nano_i2v.sh

# Pro(5B)t2v:仅文本提示,不传首帧
bash scripts/infer/run_infer_pro_t2v.sh
脚本 模式 模型
run_infer_nano_i2v.sh i2v Nano 1.3B
run_infer_nano_t2v.sh t2v Nano 1.3B
run_infer_pro_i2v.sh i2v Pro 5B
run_infer_pro_t2v.sh t2v Pro 5B

脚本内部会自动完成:定位项目根目录、设置 CUDA_VISIBLE_DEVICES、导出并行加载与显存优化环境变量、拼装参数并调用 python infer/infer_giga_world.py,结果输出到 output/infer_results/ 下。

🖼️ i2v 与 t2v 双模式如何切换

模式切换非常简单:由 --image_path 是否存在自动决定(见 infer/infer_giga_world.py 中 mode = "i2v" if image_path is not None else "t2v")。

  • i2v 模式:提供 --image_path 首帧图片。图片会被自动缩放为输出分辨率(默认 1920×480)。GigaWorld-1 的三视角设计下,一张首帧横向拼接了三个相机画面:顶部俯视相机(cam_high)+ 左右腕部相机,机器人任务初始状态一目了然。
  • t2v 模式:不传 --image_path,只靠 --prompt(可选控制视频)生成。四条脚本中,两条 t2v 脚本正是通过去掉该参数实现的。

示例首帧(仓库自带 demo 输入,三视角机器人装箱任务):

GigaWorld-1 i2v 图生视频推理输入首帧:三视角相机下的机器人纸箱装箱场景

demo 输入存放在 example/infer_assest/input_image.png 与 example/infer_assest/control_video.mp4,脚本默认直接引用,克隆仓库即可跑通。

🎮 控制视频:Plücker / Ray Map 条件

--control_video_path 是 GigaWorld-1 作为"世界模型"的关键:控制视频以 Plücker 嵌入 / Ray Map 形式编码相机与射线信息,引导生成结果在几何上一致。

  • 该参数可选,i2v 与 t2v 均可使用;两条 t2v 脚本默认仍带控制视频,保证生成轨迹可控。
  • 玩具数据集中的控制视频样例位于 example/toy_datapipeline_dataset/plucker/(如 episode_000001_left_direction.mp4)。
  • 不传该参数时,推理退化为纯文本(或首帧)条件生成。

⚙️ 推理关键参数详解

以下参数在四条脚本中取值一致(以 run_infer_nano_i2v.sh 为例),修改脚本顶部变量即可生效:

参数 示例值 说明
--config stage_1_post_functrl_wan21.yaml 训练/推理 YAML 配置,决定模型类型(wan2.1 / wan2.2_5b)与超参,Nano 用 stage_1_post_functrl_wan21.yaml,Pro 用 stage_1_post_functrl_wan22_5b.yaml
--base_model_path model/stage1/nano/... 基础 diffusers 模型目录(VAE / T5 / Transformer)
--transformer_model_name_or_path 同 base 路径 独立 Transformer 路径;为空时回退到 base 目录
--checkpoint_path ..._scene_lora 可选 LoRA / 部分权重检查点,按 gigaworld/utils/utils_gigaworld_base.py 逻辑挂载
--image_path input_image.png i2v 首帧;省略则进入 t2v 模式
--prompt 任务描述文本 文本提示词,脚本内置"stack the box"示例
--control_video_path control_video.mp4 可选 Plücker 控制视频
--output_dir output/infer_results/giga_i2v_nano 输出根目录
--sample_name i2v_sample 输出视频文件名前缀
--seed 42 随机种子,保证结果可复现
--fps 10 输出视频帧率
--num_frames 330 生成总帧数(330 帧 ≈ 33 秒 @ 10 FPS)
--height 480 输出高度
--width 1920 输出宽度(640 × 3,三视角横向拼接)
--num_inference_steps 20 采样步数:Stage-1 权重用 20;Stage-2 / DMD 蒸馏后可降至 4–6 步
--guidance_scale 5.0 无分类器引导(CFG)强度
--enable_tiling True 开启 VAE tiling,降低显存占用

💡 步数选择:当前已发布的是 Stage-1 权重,建议保持 --num_inference_steps 20。仓库 Stage-2 的 DMD 蒸馏(配置见 stage_2_dmd_functrl_wan21.yaml)将去噪循环压缩到 4–6 步,蒸馏权重发布后即可把推理速度提升一个数量级。

⏱️ 33 秒长时 rollout:时长与分辨率怎么调

生成时长由 --num_frames 与 --fps 共同决定:

视频时长 ≈ num_frames ÷ fps = 330 ÷ 10 ≈ 33 秒
  • 想生成更短/更长视频:等比例修改两者(如 165 帧 @ 10 FPS ≈ 16 秒,或 660 帧 @ 10 FPS ≈ 66 秒,但显存占用会显著上升)。
  • 想保持 33 秒但帧率更高:将 --fps 调至 24、--num_frames 调至约 792。
  • 分辨率:默认 1920×480 是"三视角 × 640"的横向拼接。若只做单视角实验,可将 --width 改为 640;显存紧张时同步降低 --height 并确认 --enable_tiling True。

长时生成的稳定性来自训练侧的多尺度记忆机制(history_sizes: [16, 2, 1] 与 latent window,配置见 stage_1_post_functrl_wan21.yaml 的 training_config 段),推理时无需额外设置。

📦 输出结果与环境变量说明

推理完成后,视频保存为:

output/infer_results/giga_i2v_nano/videos/i2v_sample.mp4

(t2v 脚本对应 giga_t2v_nano/ 与 t2v_sample.mp4。)

四条脚本统一预置了一组面向多卡/大显存场景的环境变量,新手可原样保留:

环境变量 作用
HF_ENABLE_PARALLEL_LOADING=yes + HF_PARALLEL_LOADING_WORKERS=8 Hugging Face 组件并行加载,缩短启动时间
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True,max_split_size_mb:512 优化显存分配,缓解 33 秒长视频生成的碎片化问题
NCCL_P2P_DISABLE=1 等 规避部分机器上的通信兼容性问题
TOKENIZERS_PARALLELISM=false 消除 tokenizer 并行警告

消费级显卡跑 Pro(5B)时,建议保留 --enable_tiling True 并适当降低分辨率。

🗂️ 相关文件与资料导航

内容 相对路径
推理入口 infer/infer_giga_world.py
四条一键脚本 scripts/infer/
Nano / Pro 推理配置 scripts/training/configs/
推理调度器配置 scripts/accelerate_configs/scheduler_config.json
三视角推理 pipeline gigaworld/pipelines/pipeline_gigaworld_functrl.py
控制信号 Transformer gigaworld/modules/transformer_functrl_gigaworld.py
demo 输入素材 example/infer_assest/
玩具数据集(gt / plucker / sketch) example/toy_datapipeline_dataset/
权重/数据下载工具 tools/download_tool/
原始数据可视化网页工具 tools/data_vis_tools/app.py

如果想查看数据集三视角视频与 Plücker 控制流的对应关系,可运行 python tools/data_vis_tools/app.py --host 0.0.0.0 --port 8090 打开本地可视化面板:

GigaWorld-1 数据可视化工具:世界模型数据集三视角视频与 Plucker 控制流演示

📝 小结

  • 选模式:有首帧图片用 i2v(传 --image_path),只有文本描述用 t2v(省略该参数)。
  • 选规模:显存有限选 Nano(1.3B),追求质量选 Pro(5B)。
  • 调参数:--num_frames + --fps 控制时长(330 帧 @ 10 FPS ≈ 33 秒),--width/--height 控制三视角拼接分辨率,--num_inference_steps 在 Stage-2 蒸馏权重发布后可降到 4–6 步。
  • 跑命令:bash scripts/infer/run_infer_nano_i2v.sh 一条命令即可得到 output/infer_results/ 下的 rollout 视频。

掌握以上四步,你就能在 GigaWorld-1 的"世界模型"中快速演练并评估自己的机器人策略了。

登录后查看全文
giga-world-1