GigaWorld-1 推理完全手册:i2v 与 t2v 双模式、控制视频与 33 秒长时 rollout 参数详解
GigaWorld-1 推理完全手册:i2v 与 t2v 双模式、控制视频与 33 秒长时 rollout 参数详解
GigaWorld-1 是一个面向机器人策略评估的开源世界模型项目,完整开放了推理工作流:支持 i2v(图生视频) 与 t2v(文生视频) 双模式,可接入 Plücker 控制视频,并能在一条命令下生成 10 FPS、330 帧、约 33 秒的三视角长时 rollout 视频。本文面向新手,详解推理脚本怎么用、每个参数的含义,以及如何调整生成时长与分辨率。
🎬 GigaWorld-1 是什么
GigaWorld-1 把"视频生成模型"当作**策略评估器(policy evaluator)**来使用:给定机器人初始画面和动作控制信号,模型预测未来场景的演化,从而在"世界模型"中评估机器人策略的表现。项目提供两个规模的推理权重:
| 模型 | 参数量 | 基座 | 适用场景 |
|---|---|---|---|
| Nano | 1.3B | Wan 2.1 FunControl | 消费级显卡、快速验证 |
| Pro | 5B | Wan 2.2 FunControl | 更高画质与 3D 一致性 |
项目主页概览:
推理代码的核心入口是 infer/infer_giga_world.py,四条一键脚本封装在 scripts/infer/ 目录下,覆盖「Nano / Pro × i2v / t2v」四种组合。
🚀 一键启动:四选一脚本
推理前需要先用仓库自带的下载工具拉取权重(脚本见 tools/download_tool/download_giga_world.sh),按 README 约定放入 model/stage1/nano/ 或 model/stage1/pro/。随后只需一条命令:
# Nano(1.3B)i2v:首帧图片 + 控制视频 + 文本提示
bash scripts/infer/run_infer_nano_i2v.sh
# Pro(5B)t2v:仅文本提示,不传首帧
bash scripts/infer/run_infer_pro_t2v.sh
| 脚本 | 模式 | 模型 |
|---|---|---|
| run_infer_nano_i2v.sh | i2v | Nano 1.3B |
| run_infer_nano_t2v.sh | t2v | Nano 1.3B |
| run_infer_pro_i2v.sh | i2v | Pro 5B |
| run_infer_pro_t2v.sh | t2v | Pro 5B |
脚本内部会自动完成:定位项目根目录、设置 CUDA_VISIBLE_DEVICES、导出并行加载与显存优化环境变量、拼装参数并调用 python infer/infer_giga_world.py,结果输出到 output/infer_results/ 下。
🖼️ i2v 与 t2v 双模式如何切换
模式切换非常简单:由 --image_path 是否存在自动决定(见 infer/infer_giga_world.py 中 mode = "i2v" if image_path is not None else "t2v")。
- i2v 模式:提供
--image_path首帧图片。图片会被自动缩放为输出分辨率(默认 1920×480)。GigaWorld-1 的三视角设计下,一张首帧横向拼接了三个相机画面:顶部俯视相机(cam_high)+ 左右腕部相机,机器人任务初始状态一目了然。 - t2v 模式:不传
--image_path,只靠--prompt(可选控制视频)生成。四条脚本中,两条 t2v 脚本正是通过去掉该参数实现的。
示例首帧(仓库自带 demo 输入,三视角机器人装箱任务):
demo 输入存放在 example/infer_assest/input_image.png 与 example/infer_assest/control_video.mp4,脚本默认直接引用,克隆仓库即可跑通。
🎮 控制视频:Plücker / Ray Map 条件
--control_video_path 是 GigaWorld-1 作为"世界模型"的关键:控制视频以 Plücker 嵌入 / Ray Map 形式编码相机与射线信息,引导生成结果在几何上一致。
- 该参数可选,i2v 与 t2v 均可使用;两条 t2v 脚本默认仍带控制视频,保证生成轨迹可控。
- 玩具数据集中的控制视频样例位于 example/toy_datapipeline_dataset/plucker/(如
episode_000001_left_direction.mp4)。 - 不传该参数时,推理退化为纯文本(或首帧)条件生成。
⚙️ 推理关键参数详解
以下参数在四条脚本中取值一致(以 run_infer_nano_i2v.sh 为例),修改脚本顶部变量即可生效:
| 参数 | 示例值 | 说明 |
|---|---|---|
--config |
stage_1_post_functrl_wan21.yaml |
训练/推理 YAML 配置,决定模型类型(wan2.1 / wan2.2_5b)与超参,Nano 用 stage_1_post_functrl_wan21.yaml,Pro 用 stage_1_post_functrl_wan22_5b.yaml |
--base_model_path |
model/stage1/nano/... |
基础 diffusers 模型目录(VAE / T5 / Transformer) |
--transformer_model_name_or_path |
同 base 路径 | 独立 Transformer 路径;为空时回退到 base 目录 |
--checkpoint_path |
..._scene_lora |
可选 LoRA / 部分权重检查点,按 gigaworld/utils/utils_gigaworld_base.py 逻辑挂载 |
--image_path |
input_image.png |
i2v 首帧;省略则进入 t2v 模式 |
--prompt |
任务描述文本 | 文本提示词,脚本内置"stack the box"示例 |
--control_video_path |
control_video.mp4 |
可选 Plücker 控制视频 |
--output_dir |
output/infer_results/giga_i2v_nano |
输出根目录 |
--sample_name |
i2v_sample |
输出视频文件名前缀 |
--seed |
42 |
随机种子,保证结果可复现 |
--fps |
10 |
输出视频帧率 |
--num_frames |
330 |
生成总帧数(330 帧 ≈ 33 秒 @ 10 FPS) |
--height |
480 |
输出高度 |
--width |
1920 |
输出宽度(640 × 3,三视角横向拼接) |
--num_inference_steps |
20 |
采样步数:Stage-1 权重用 20;Stage-2 / DMD 蒸馏后可降至 4–6 步 |
--guidance_scale |
5.0 |
无分类器引导(CFG)强度 |
--enable_tiling |
True |
开启 VAE tiling,降低显存占用 |
💡 步数选择:当前已发布的是 Stage-1 权重,建议保持
--num_inference_steps 20。仓库 Stage-2 的 DMD 蒸馏(配置见 stage_2_dmd_functrl_wan21.yaml)将去噪循环压缩到 4–6 步,蒸馏权重发布后即可把推理速度提升一个数量级。
⏱️ 33 秒长时 rollout:时长与分辨率怎么调
生成时长由 --num_frames 与 --fps 共同决定:
视频时长 ≈ num_frames ÷ fps = 330 ÷ 10 ≈ 33 秒
- 想生成更短/更长视频:等比例修改两者(如 165 帧 @ 10 FPS ≈ 16 秒,或 660 帧 @ 10 FPS ≈ 66 秒,但显存占用会显著上升)。
- 想保持 33 秒但帧率更高:将
--fps调至 24、--num_frames调至约 792。 - 分辨率:默认 1920×480 是"三视角 × 640"的横向拼接。若只做单视角实验,可将
--width改为 640;显存紧张时同步降低--height并确认--enable_tiling True。
长时生成的稳定性来自训练侧的多尺度记忆机制(history_sizes: [16, 2, 1] 与 latent window,配置见 stage_1_post_functrl_wan21.yaml 的 training_config 段),推理时无需额外设置。
📦 输出结果与环境变量说明
推理完成后,视频保存为:
output/infer_results/giga_i2v_nano/videos/i2v_sample.mp4
(t2v 脚本对应 giga_t2v_nano/ 与 t2v_sample.mp4。)
四条脚本统一预置了一组面向多卡/大显存场景的环境变量,新手可原样保留:
| 环境变量 | 作用 |
|---|---|
HF_ENABLE_PARALLEL_LOADING=yes + HF_PARALLEL_LOADING_WORKERS=8 |
Hugging Face 组件并行加载,缩短启动时间 |
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True,max_split_size_mb:512 |
优化显存分配,缓解 33 秒长视频生成的碎片化问题 |
NCCL_P2P_DISABLE=1 等 |
规避部分机器上的通信兼容性问题 |
TOKENIZERS_PARALLELISM=false |
消除 tokenizer 并行警告 |
消费级显卡跑 Pro(5B)时,建议保留 --enable_tiling True 并适当降低分辨率。
🗂️ 相关文件与资料导航
| 内容 | 相对路径 |
|---|---|
| 推理入口 | infer/infer_giga_world.py |
| 四条一键脚本 | scripts/infer/ |
| Nano / Pro 推理配置 | scripts/training/configs/ |
| 推理调度器配置 | scripts/accelerate_configs/scheduler_config.json |
| 三视角推理 pipeline | gigaworld/pipelines/pipeline_gigaworld_functrl.py |
| 控制信号 Transformer | gigaworld/modules/transformer_functrl_gigaworld.py |
| demo 输入素材 | example/infer_assest/ |
| 玩具数据集(gt / plucker / sketch) | example/toy_datapipeline_dataset/ |
| 权重/数据下载工具 | tools/download_tool/ |
| 原始数据可视化网页工具 | tools/data_vis_tools/app.py |
如果想查看数据集三视角视频与 Plücker 控制流的对应关系,可运行 python tools/data_vis_tools/app.py --host 0.0.0.0 --port 8090 打开本地可视化面板:
📝 小结
- 选模式:有首帧图片用 i2v(传
--image_path),只有文本描述用 t2v(省略该参数)。 - 选规模:显存有限选 Nano(1.3B),追求质量选 Pro(5B)。
- 调参数:
--num_frames+--fps控制时长(330 帧 @ 10 FPS ≈ 33 秒),--width/--height控制三视角拼接分辨率,--num_inference_steps在 Stage-2 蒸馏权重发布后可降到 4–6 步。 - 跑命令:
bash scripts/infer/run_infer_nano_i2v.sh一条命令即可得到output/infer_results/下的 rollout 视频。
掌握以上四步,你就能在 GigaWorld-1 的"世界模型"中快速演练并评估自己的机器人策略了。


