AWT 的安装和配置教程

1. 项目基础介绍与主要编程语言

AWT（Augmentation, Weighting, and Transportation）是一个用于迁移预训练视觉语言模型（VLMs）的开源框架。它通过增强、权重和迁移技术，提升了VLMs在零样本和少样本学习任务中的性能。该项目旨在使预训练的VLMs无需额外训练即可增强其零样本能力，并在少样本学习任务中通过引入多模态适配器来提升性能。本项目主要使用Python语言开发。

2. 项目使用的关键技术和框架

• 增强（Augmentation）: 通过对输入数据进行多样化处理，提高模型对不同数据变化的泛化能力。
• 权重（Weighting）: 对模型中的不同部分或不同样本赋予不同的权重，以优化模型的训练过程。
• 迁移（Transportation）: 将预训练模型的知识迁移到特定任务上，提高模型的任务适应性。

项目使用的关键框架包括但不限于：

• PyTorch: 用于深度学习的开源机器学习库。
• Open-VCLIP: 用于视频理解的预训练模型。

3. 项目安装和配置的准备工作与详细步骤

准备工作

• 确保您的系统中已经安装了Python，推荐版本为3.8。
• 安装conda，这是一个用于管理Python环境和包的工具。
• 准备一个NVIDIA GPU以及相应的CUDA环境，因为部分训练任务需要利用GPU加速。

安装步骤

1. 创建conda环境

   打开终端（或命令提示符），执行以下命令来创建一个名为awt的新conda环境：

   conda create -y -n awt python=3.8
   conda activate awt
   

2. 安装PyTorch和相关库

   在awt环境中，安装PyTorch及其依赖库：

   conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch -c nvidia
   

3. 安装项目依赖

   使用pip安装项目所需的其他依赖项：

   pip install -r requirements.txt
   

4. 安装few-shot实验所需的依赖

   如果您打算进行少样本实验，需要安装额外的依赖项：

   cd AWT_few_shot/Dassl.pytorch
   python setup.py develop
   

以上步骤完成了AWT项目的基本安装和配置，接下来您可以按照项目提供的文档进行数据准备和模型训练等操作。