videophy 的安装和配置教程

项目基础介绍

videophy 是一个开源项目，旨在评估视频生成模型是否遵循物理世界的常识。该项目包含了一个用于评估物理常识的基准测试，以及一个自动评估器 VideoCon-Physics。它主要通过文本到视频的生成模型来生成视频，并检查这些视频是否符合给定的文本提示和物理常识。

主要编程语言：Python

项目使用的关键技术和框架

• 视频生成模型：项目使用了多种文本到视频的生成模型，例如 VideoCrafter2、Pika 等。
• 物理常识评估：通过 VideoCon-Physics 自动评估器来评估生成的视频是否符合物理常识。
• 深度学习框架：可能使用了如 TensorFlow 或 PyTorch 等框架来训练和评估模型。

准备工作和安装步骤

准备工作

在开始安装之前，请确保你的系统中已经安装了以下软件：

• Python (建议版本 3.10)
• pip （Python 包管理器）
• conda （Anaconda 或 Miniconda）

安装步骤

1. 创建虚拟环境： 打开终端或命令行，运行以下命令创建一个名为 videophy 的虚拟环境，并激活它：

   conda create -n videophy python=3.10
   conda activate videophy
   

2. 安装依赖： 在虚拟环境中，运行以下命令安装项目所需的所有依赖：

   pip install -r requirements.txt
   

3. 安装 VideoCon-Physics： 如果需要使用 VideoCon-Physics 自动评估器，你需要下载模型检查点。首先安装 Git LFS，然后克隆仓库：

   git lfs install
   git clone https://huggingface.co/videophysics/videocon_physics
   

4. 准备数据： 将自定义的视频文件和对应的标题放入 examples 文件夹中，并创建一个包含 videopath 和 caption 两列的 CSV 文件。然后运行以下命令来准备数据：

   python utils/prepare_data.py --input_csv examples/example.csv --output_folder examples/
   

5. 评估语义一致性： 使用 VideoCon-Physics 评估器来评估视频和文本的一致性。确保设置了 CUDA_VISIBLE_DEVICES 环境变量以指定使用的 GPU 设备（如果有的话），然后运行以下命令：

   CUDA_VISIBLE_DEVICES=0 python videocon/training/pipeline_video/entailment_inference.py --input_csv examples/sa_testing.csv --output_csv examples/videocon_physics_sa_testing.csv --checkpoint <dir_for_downloaded_ckpt>/videocon_physics/
   

完成以上步骤后，你应该能够成功安装和配置 videophy 项目，并开始使用它来评估视频生成模型。