AWT 项目最佳实践教程

1. 项目介绍

AWT（Augmentation, Weighting, and Transportation）是一个创新性的框架，用于迁移预训练的视觉语言模型（VLMs）到下游任务。该框架通过增强、权重调整和迁移技术，大幅提升了VLMs的零样本和少量样本学习能力。AWT在零样本和少量样本的图像和视频任务中刷新了基准记录，达到了最先进的性能水平。

2. 项目快速启动

环境搭建

首先，创建一个conda环境并安装必要的依赖：

conda create -y -n awt python=3.8
conda activate awt
conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch -c nvidia
pip install -r requirements.txt

零样本图像分类

1. 切换到零样本图像分类目录：

cd AWT_zero_shot

2. 设置数据路径在 ./scripts/pre_extract.sh 文件中，然后选择相应的数据集名称。

3. 提取视觉特征：

bash ./scripts/pre_extract.sh [dataset_name]

4. 评估AWT性能：

bash ./scripts/evaluate.sh [dataset_name]

少量样本图像分类

1. 切换到少量样本图像分类目录：

cd AWT_few_shot/MM_Adapter

2. 根据硬件配置，可能需要调整 Desc_Per_Batch 的值以避免内存溢出。

3. 进行训练：

bash scripts/awt/main.sh [dataset_name] vit_b16_1_2_4_shot [n_shot]

4. 评估模型：

bash scripts/awt/test.sh [dataset_name] [config_you_use] [n_shot]

3. 应用案例和最佳实践

• 零样本视频动作识别：将视频帧视为增强视图，使用预训练的Open-VCLIP提取特征，然后使用AWT进行评估。
• 生成描述：采用两步数据集感知提示策略为每个类别生成描述。
• 使用其他VLMs：可以尝试在ALIGN、EVA02-CLIP或SigLIP等模型上运行AWT。

4. 典型生态项目

AWT项目是基于以下开源项目构建的：

• CoOp
• PLOT
• TPT
• Dassl
• Open-VCLIP

以上开源项目为AWT提供了坚实的基础，同时也展示了开源生态系统的协同力量。

通过以上步骤，您应该能够成功启动并使用AWT项目，进行视觉语言模型的迁移学习和应用开发。