Imagine360 的安装和配置教程

项目基础介绍

Imagine360 是一个开源项目，旨在从视角锚点生成沉浸式360度视频。该项目通过先进的计算机视觉技术，将普通视角视频转换成全方位的360度视频体验。主要编程语言为 Python。

项目使用的关键技术和框架

该项目使用了以下关键技术和框架：

• 视角锚点转换：将普通视频转换为360度视频的核心技术。
• 扩散模型：用于视频生成的先进机器学习模型。
• GeoCalibration 和 PerspectiveFields：用于估算视频场景高度的两个模型。
• VEnhancer：一个可选的视频超分辨率工具，用于提高 VR 模式下的视频质量。

项目安装和配置的准备工作

在开始安装之前，请确保您的计算机满足以下要求：

• 操作系统：支持 Python 的主流操作系统（如 Ubuntu、Windows 或 macOS）。
• Python 版本：Python 3.10。
• 环境管理工具：conda 或类似的 Python 环境管理器。

安装步骤

1. 克隆项目仓库

   打开命令行工具，执行以下命令克隆项目仓库：

   git clone https://github.com/3DTopia/Imagine360.git
   cd Imagine360
   

2. 创建并激活虚拟环境

   使用 conda 创建一个名为 imagine360 的虚拟环境，并激活它：

   conda create -n imagine360 python==3.10
   conda activate imagine360
   

3. 安装项目依赖

   在激活的虚拟环境中，执行以下命令安装项目所需的依赖：

   pip install -r requirements.txt
   

4. 安装 GeoCalibration 或 PerspectiveFields

   根据项目要求，选择安装 GeoCalibration 或 PerspectiveFields 模型。以下是安装 GeoCalibration 的示例命令：

   python -m pip install -e "git+https://github.com/cvg/GeoCalib#egg=geocalib"
   

   如果需要使用 PerspectiveFields，则执行：

   pip install git+https://github.com/jinlinyi/PerspectiveFields.git
   

5. 下载预训练模型权重

   从 Google Drive 下载预训练模型权重，并将这些权重的路径更新到 configs/prompt-dual.yaml 文件中。

6. 生成360度视频

   使用以下命令生成360度视频：

   python inference_dual_p2e.py --config configs/prompt-dual.yaml
   

   如果生成的视频结果不符合预期，可以尝试修改 configs/prompt-dual.yaml 文件中的文本提示或设置不同的种子值。

7. （可选）安装 VEnhancer

   为了在 VR 模式下获得更好的视觉效果，可以选择安装 VEnhancer 进行视频超分辨率处理。按照项目提供的说明更新 VEnhancer 代码。

完成以上步骤后，您应该已经成功安装和配置了 Imagine360 项目，并可以开始生成沉浸式的360度视频了。