tryoffdiff 的安装和配置教程

项目基础介绍和主要编程语言

tryoffdiff 是一个基于深度学习的虚拟试衣项目，它通过高保真的衣物重建实现了虚拟试穿功能。该项目是学术研究项目，主要用于研究和展示扩散模型在虚拟试衣领域的应用。主要编程语言是 Python。

项目使用的关键技术和框架

该项目使用了以下关键技术：

• PyTorch：一个流行的开源机器学习库，用于实现深度学习模型。
• Stable Diffusion：一种基于扩散模型的图像生成技术，用于生成高质量的衣物图像。
• SigLIP：一种图像编码器，用于提取条件图像的特征。

项目安装和配置的准备工作

在开始安装前，请确保您的系统中已安装以下软件：

• Python：建议使用 Python 3.11。
• Conda：用于创建和管理 Python 环境的包管理器。
• Git：用于从 GitHub 克隆项目代码。

安装步骤

1. 创建新的 Conda 环境：

   conda create -n vtoff python=3.11
   conda activate vtoff
   

2. 克隆项目代码：

   git clone https://github.com/rizavelioglu/tryoffdiff.git
   cd tryoffdiff
   

3. 安装项目依赖：

   pip install -e .
   

4. 下载并准备数据集：

   python tryoffdiff/dataset.py download-vitonhd
   python tryoffdiff/dataset.py clean-vitonhd
   

   如果需要指定数据集下载位置，可以使用 output-dir 参数。

5. 编码数据集：

   • 编码衣物图像：

     python tryoffdiff/dataset.py vae-encode-vitonhd --data-dir "./data/vitonhd/" --model-name "sd14" --batch-size 16
     

   • 编码模型（条件）图像：

     python tryoffdiff/dataset.py siglip-encode-vitonhd --data-dir "./data/vitonhd/" --batch-size 64
     

6. 训练模型（根据您的硬件配置选择以下之一）：

   • 使用单个 GPU 训练：

     python tryoffdiff/modeling/train.py tryoffdiff --save-dir "./models/" --data-dir "./data/vitonhd-enc-sd14/" --model-class-name "TryOffDiff" --mixed-precision "no" --learning-rate 0.0001 --train-batch-size 16 --num-epochs 1201 --save-model-epochs 100 --checkpoint-every-n-epochs 100
     

   • 使用多 GPU 训练：

     accelerate config
     accelerate launch --multi_gpu --num_processes=4 tryoffdiff/modeling/train.py tryoffdiff --save-dir "./models/" --data-dir "./data/vitonhd-enc-sd14/" --model-class-name "TryOffDiff" --mixed-precision "no" --learning-rate 0.0001 --train-batch-size 16 --num-epochs 1201 --save-model-epochs 100 --checkpoint-every-n-epochs 100
     

以上步骤为您提供了从环境准备到数据集准备，再到模型训练的完整指南。请确保在执行每一步骤时，您的系统环境满足所有前提条件。