Aether目标条件视觉规划实操:让AI自主规划相机轨迹,直达目标图像
Aether目标条件视觉规划实操:让AI自主规划相机轨迹,直达目标图像
Aether 是一款几何感知的统一世界模型(Geometric-Aware Unified World Modeling),它将 4D 动态重建、动作条件视频预测 和 目标条件视觉规划(Goal-Conditioned Visual Planning)三大能力合而为一。本文聚焦其中最实用的能力——视觉规划:你只需要给出一张"当前观察图像"和一张"目标图像",Aether 就能自主规划出平滑的相机轨迹,并生成从起点"走"到终点的完整视频。下面带你从零跑通这个 demo。
🎯 什么是 Aether 目标条件视觉规划?
传统视频生成模型只能"编故事",而 Aether 的规划任务解决的是一个真实问题:给定起点视角和目标视角,相机该怎么动?
模型内部通过几何感知的 raymap(射线图)动作表征来描述相机运动,同时输出像素级深度,因此规划结果不是"想象",而是具备真实空间一致性的轨迹。你可以把它理解为一个会"看图走路"的虚拟摄影师 📷。
项目内置了 4 组 720×480 的 obs(观察)/ goal(目标)示例图像,方便直接体验:
上面这组示例中,起点位于海边公路弯道,目标是再向前推进一段后的新视角——Aether 会规划一条沿公路平移前进的相机轨迹。
📦 一键安装:Aether 环境搭建步骤
官方推荐使用 Anaconda 等虚拟环境,整个安装只需四步:
# 1. 克隆 Aether 仓库
git clone https://gitcode.com/gh_mirrors/aether13/Aether
cd Aether
# 2. 创建并激活 Python 3.10 环境
conda create -n aether python=3.10
conda activate aether
# 3. 安装依赖
pip install -r requirements.txt
依赖清单见 requirements.txt,完整安装说明在 README.md 中。
⚠️ 硬件提示:官方本地测试环境为 80GB 显存的 A100 GPU。显存较小的显卡建议减少
--num_frames帧数,或优先使用在线 Demo。
🚀 最小化实操:一条命令完成相机轨迹规划
打开终端,进入 Aether 目录,运行:
python scripts/demo.py --task planning \
--image ./assets/example_obs_goal/01_obs.png \
--goal ./assets/example_obs_goal/01_goal.png
参数说明很简单:
| 参数 | 含义 |
|---|---|
--task planning |
指定执行目标条件视觉规划任务 |
--image |
起点观察图像(obs) |
--goal |
目标图像(goal),即相机要"到达"的视角 |
--output_dir |
输出目录,默认 ./outputs/ |
推理入口逻辑在 scripts/demo.py 中,规划管线核心实现在 aether/pipelines/aetherv1_pipeline_cogvideox.py。
另一组示例是古城堡里的红色电话亭:起点只有模糊的远景,模型需要"走"到电话亭近前,轨迹规划会呈现一段自然的推近运动 🚶:
📹 看懂输出:outputs 目录里的 3 类成果
运行结束后,./outputs/ 下会生成以 planning_起点名_目标名_ 为前缀的三类文件:
_rgb.mp4—— 规划出的相机轨迹视频,默认 41 帧、12 fps、480×720;_disparity.mp4—— 轨迹沿途的视差(深度)可视化视频,红色越靠近相机;_pointcloud_frame_*.glb—— 每 10 帧一个的 3D 点云场景文件,用 Three.js 等工具 或直接浏览器拖入即可查看轨迹重建的几何结构。
深度与相机位姿的后处理(平滑、对齐、射线图转位姿等)都由 aether/utils/postprocess_utils.py 完成。
🖱️ Gradio 交互 Demo:在浏览器里可视化规划
不想敲命令行?Aether 自带 Gradio 网页界面,支持上传自己的 obs / goal 图像:
python scripts/demo_gradio.py
默认启动在本地 7860 端口,浏览器打开 http://localhost:7860 即可选择 "planning" 任务、上传两张图像并在线生成规划结果。交互式代码见 scripts/demo_gradio.py。
⚙️ 关键参数速查表
以下常用参数都可以直接在 demo.py 命令行中追加:
| 参数 | 默认值 | 作用 |
|---|---|---|
--num_frames |
41 | 生成轨迹视频帧数,显存紧张可调小 |
--guidance_scale |
3.0(规划任务) | 引导强度,影响结果对目标图像的贴合度 |
--num_inference_steps |
50(规划任务) | 扩散采样步数,越大越精细 |
--seed |
42 | 随机种子,固定后可复现结果 |
--fps |
12 | 输出视频帧率(可选 8/10/12/15/24) |
--smooth_camera |
开启 | 对相机轨迹做平滑,--smooth_method 支持 kalman / simple |
--height / --width |
480 / 720 | 输出分辨率 |
💡 实战技巧与常见坑
- obs 和 goal 尽量"就近":官方明确建议两个视角保持相对接近,跨场景、大跨度目标会显著降低规划质量;
- 避开高动态场景:人员密集、剧烈运动的画面是 Aether 当前的短板;
- 位姿估计偶有不稳:某些光照条件下相机位姿可能抖动,可用
--seed换种子重试; - 输入尺寸会自动居中裁剪:非 480×720 的输入会被自动裁剪,建议直接准备标准分辨率素材。
📚 相关资源
- 任务入口脚本:scripts/demo.py
- 交互 Demo:scripts/demo_gradio.py
- 规划管线源码:aether/pipelines/aetherv1_pipeline_cogvideox.py
- 几何后处理工具:aether/utils/postprocess_utils.py
- 相机位姿与深度评测方案:evaluation/
- 官方 README 与论文引用信息:README.md
只需两张图,Aether 就能替你"走"出相机轨迹。跑通示例后,换上你自己的场景照片,体验让 AI 自主规划摄影机运动的感觉吧 🎬




