Aether目标条件视觉规划实操:让AI自主规划相机轨迹,直达目标图像

原创2026-11-16 17:55:341,461 阅读

Aether目标条件视觉规划实操:让AI自主规划相机轨迹,直达目标图像

Aether 是一款几何感知的统一世界模型(Geometric-Aware Unified World Modeling),它将 4D 动态重建、动作条件视频预测 和 目标条件视觉规划(Goal-Conditioned Visual Planning)三大能力合而为一。本文聚焦其中最实用的能力——视觉规划:你只需要给出一张"当前观察图像"和一张"目标图像",Aether 就能自主规划出平滑的相机轨迹,并生成从起点"走"到终点的完整视频。下面带你从零跑通这个 demo。

Aether世界模型三大能力总览:4D重建、动作条件预测与视觉规划

🎯 什么是 Aether 目标条件视觉规划?

传统视频生成模型只能"编故事",而 Aether 的规划任务解决的是一个真实问题:给定起点视角和目标视角,相机该怎么动?

模型内部通过几何感知的 raymap(射线图)动作表征来描述相机运动,同时输出像素级深度,因此规划结果不是"想象",而是具备真实空间一致性的轨迹。你可以把它理解为一个会"看图走路"的虚拟摄影师 📷。

项目内置了 4 组 720×480 的 obs(观察)/ goal(目标)示例图像,方便直接体验:

Aether规划示例起点观察图像:沿海公路与渔村

Aether规划示例目标图像:沿公路前进后的新视角

上面这组示例中,起点位于海边公路弯道,目标是再向前推进一段后的新视角——Aether 会规划一条沿公路平移前进的相机轨迹。

📦 一键安装:Aether 环境搭建步骤

官方推荐使用 Anaconda 等虚拟环境,整个安装只需四步:

# 1. 克隆 Aether 仓库
git clone https://gitcode.com/gh_mirrors/aether13/Aether
cd Aether

# 2. 创建并激活 Python 3.10 环境
conda create -n aether python=3.10
conda activate aether

# 3. 安装依赖
pip install -r requirements.txt

依赖清单见 requirements.txt,完整安装说明在 README.md 中。

⚠️ 硬件提示:官方本地测试环境为 80GB 显存的 A100 GPU。显存较小的显卡建议减少 --num_frames 帧数,或优先使用在线 Demo。

🚀 最小化实操:一条命令完成相机轨迹规划

打开终端,进入 Aether 目录,运行:

python scripts/demo.py --task planning \
    --image ./assets/example_obs_goal/01_obs.png \
    --goal ./assets/example_obs_goal/01_goal.png

参数说明很简单:

参数 含义
--task planning 指定执行目标条件视觉规划任务
--image 起点观察图像(obs)
--goal 目标图像(goal),即相机要"到达"的视角
--output_dir 输出目录,默认 ./outputs/

推理入口逻辑在 scripts/demo.py 中,规划管线核心实现在 aether/pipelines/aetherv1_pipeline_cogvideox.py。

另一组示例是古城堡里的红色电话亭:起点只有模糊的远景,模型需要"走"到电话亭近前,轨迹规划会呈现一段自然的推近运动 🚶:

Aether规划示例起点:城堡废墟中的远处红色电话亭

Aether规划示例目标:电话亭近景特写视角

📹 看懂输出:outputs 目录里的 3 类成果

运行结束后,./outputs/ 下会生成以 planning_起点名_目标名_ 为前缀的三类文件:

  1. _rgb.mp4 —— 规划出的相机轨迹视频,默认 41 帧、12 fps、480×720;
  2. _disparity.mp4 —— 轨迹沿途的视差(深度)可视化视频,红色越靠近相机;
  3. _pointcloud_frame_*.glb —— 每 10 帧一个的 3D 点云场景文件,用 Three.js 等工具 或直接浏览器拖入即可查看轨迹重建的几何结构。

深度与相机位姿的后处理(平滑、对齐、射线图转位姿等)都由 aether/utils/postprocess_utils.py 完成。

🖱️ Gradio 交互 Demo:在浏览器里可视化规划

不想敲命令行?Aether 自带 Gradio 网页界面,支持上传自己的 obs / goal 图像:

python scripts/demo_gradio.py

默认启动在本地 7860 端口,浏览器打开 http://localhost:7860 即可选择 "planning" 任务、上传两张图像并在线生成规划结果。交互式代码见 scripts/demo_gradio.py。

⚙️ 关键参数速查表

以下常用参数都可以直接在 demo.py 命令行中追加:

参数 默认值 作用
--num_frames 41 生成轨迹视频帧数,显存紧张可调小
--guidance_scale 3.0(规划任务) 引导强度,影响结果对目标图像的贴合度
--num_inference_steps 50(规划任务) 扩散采样步数,越大越精细
--seed 42 随机种子,固定后可复现结果
--fps 12 输出视频帧率(可选 8/10/12/15/24)
--smooth_camera 开启 对相机轨迹做平滑,--smooth_method 支持 kalman / simple
--height / --width 480 / 720 输出分辨率

💡 实战技巧与常见坑

  • obs 和 goal 尽量"就近":官方明确建议两个视角保持相对接近,跨场景、大跨度目标会显著降低规划质量;
  • 避开高动态场景:人员密集、剧烈运动的画面是 Aether 当前的短板;
  • 位姿估计偶有不稳:某些光照条件下相机位姿可能抖动,可用 --seed 换种子重试;
  • 输入尺寸会自动居中裁剪:非 480×720 的输入会被自动裁剪,建议直接准备标准分辨率素材。

📚 相关资源

只需两张图,Aether 就能替你"走"出相机轨迹。跑通示例后,换上你自己的场景照片,体验让 AI 自主规划摄影机运动的感觉吧 🎬

登录后查看全文
Aether