WISA 的安装和配置教程

1. 项目基础介绍和主要编程语言

WISA（World Simulator Assistant）是一个用于物理感知文本到视频生成的开源项目。它旨在通过改进文本到视频模型的能力，来模拟真实世界，从而生成更加逼真的视频内容。该项目的主要编程语言是 Python。

2. 项目使用的关键技术和框架

WISA 使用了一系列关键技术，包括但不限于文本到视频生成模型、物理模拟引擎和深度学习框架。其中，它基于以下关键框架和工具：

• finetrainers：一个高效的模型训练框架，用于训练大规模视频模型。
• ModelScope：用于下载预训练模型和权重。
• Hugging Face：用于存储和下载预训练的权重和模型。

3. 项目安装和配置的准备工作及详细的安装步骤

准备工作

在开始安装之前，请确保您的计算机满足以下要求：

• Python 3.10 或更高版本
• conda 或其他 Python 环境管理工具
• Git 版本控制系统

安装步骤

步骤 1：克隆项目仓库

首先，您需要克隆 WISA 的 GitHub 仓库到本地计算机：

git clone https://github.com/360CVGroup/WISA.git
cd WISA

步骤 2：创建 Python 环境

创建一个新的 Python 环境，并激活它：

conda create -n wisa python=3.10
conda activate wisa

步骤 3：安装依赖

在激活的环境中，安装项目所需的依赖：

pip install -r requirements.txt

步骤 4：下载预训练权重

下载文本到视频的预训练模型权重和 WISA 的预训练 Lora 及物理块权重：

1. 创建一个用于存储预训练模型的目录：

mkdir ./pretrain_models

2. 使用 ModelScope 下载预训练模型：

cd ./pretrain_models
pip install modelscope
modelscope download Wan-AI/Wan2.1-T2V-14B-Diffusers --local_dir ./Wan2.1-T2V-14B-Diffusers
modelscope download ZhipuAI/CogVideoX-5b --local_dir ./CogVideoX-5b-Diffusers

3. 使用 Git LFS 安装并下载 WISA 的预训练权重：

git lfs install
git clone https://huggingface.co/qihoo360/WISA
cd ..

步骤 5：生成视频

您可以修改 inference.sh 脚本中的 MODEL_TYPE、GEN_TYPE、PROMPT_PATH、OUTPUT_FILE 和 LORA_PATH 参数，以适应不同的推理设置。然后运行脚本：

sh inference.sh

按照上述步骤操作，您应该能够成功安装和配置 WISA 项目。如果您遇到任何问题，请参考项目的官方文档或向社区寻求帮助。