uni4d 的安装和配置教程

1. 项目基础介绍

uni4d 是一个开源项目，致力于从单个视频中统一视觉基础模型进行 4D 建模。该项目由 David Yifan Yao 等人开发，并在 CVPR 2025 上发表。uni4d 的目标是从一段 casual video 中重建出 4D 模型。项目主要使用 Python 语言进行开发。

2. 项目使用的关键技术和框架

uni4d 项目使用了多种视觉基础模型和框架，包括但不限于：

• DEVA：用于视频分析和跟踪。
• Grounded-SAM-2：用于目标检测和分割。
• UniDepth：用于深度估计。
• CotrackerV3：用于跟踪。
• GSM2：用于生成分割掩膜。

这些模型和框架共同协作，实现了从视频到 4D 模型的转换。

3. 项目安装和配置的准备工作

在开始安装 uni4d 之前，请确保您的系统中已经安装了以下依赖项：

• Python 3.10
• CUDA Toolkit 12.1
• 必要的 Python 包，如 numpy、opencv 等

详细安装步骤

1. 克隆项目仓库

   在命令行中执行以下命令，克隆 uni4d 项目：

   git clone --recursive https://github.com/Davidyao99/uni4d.git
   

   这里使用了 --recursive 参数来克隆项目及其所有子模块。

2. 创建虚拟环境并安装依赖

   创建一个名为 uni4d 的虚拟环境，并激活它：

   conda create -n uni4d python=3.10
   conda activate uni4d
   

   接下来，运行安装脚本以安装项目所需的依赖：

   bash scripts/install.sh
   

3. 下载模型权重

   使用以下命令下载视觉基础模型的权重：

   bash scripts/download_weights.sh
   

4. 配置环境变量

   设置 OpenAI API 密钥（假设项目中使用了 OpenAI API）：

   echo "OPENAI_API_KEY=sk-your_api_key_here" > .env
   

   替换 sk-your_api_key_here 为您的实际 API 密钥。

5. 运行示例

   示例数据已经包含在项目中，可以通过以下命令运行：

   bash scripts/demo.sh
   

   运行此命令后，示例结果将存储在相应的目录中。

按照以上步骤操作，您应该能够成功安装和配置 uni4d 项目。如果遇到任何问题，请检查项目的官方文档或向维护者寻求帮助。