视觉提示微调（Visual Prompt Tuning）[ECCV 2022] 安装与使用指南

本指南旨在帮助您快速了解并开始使用 KMnP/vpt，这是一个基于PyTorch实现的视觉提示微调方法，主要用于提升预训练视觉模型在下游任务上的性能。以下是三个关键内容模块：

1. 项目目录结构及介绍

视觉提示微调（VPT）项目的结构精心组织，便于开发者深入研究和调整。下面是其核心组件：

• src: 包含主要的源代码。
  • configs: 存放实验配置参数文件。
    • config.py: 主配置设置，详细解释每个实验配置及其用途。
  • data: 数据加载和设置模块，支持多种数据集。
  • engine: 训练和评估的核心逻辑。
  • models: 处理不同的后端架构和头部，特别是对于微调协议。
    • vit_prompt: 专为VPT定制的ViT模型版本。
  • solver: 优化器、损失函数和学习率调度器。
  • utils: 辅助功能，如I/O操作、日志记录、训练辅助等。
• scripts: 启动脚本或特定任务脚本可能存放于此，但根据提供的信息并未明确列出此目录，实际使用中可能需要查阅launch.py。
• README.md: 项目的主要说明文件，包含安装指引、快速开始步骤和重要配置说明。
• LICENSE: 许可证文件，指出项目遵循CC-BY-NC 4.0许可证，并提到了部分子项目的不同许可条款。

2. 项目的启动文件介绍

主要执行脚本

• train.py: 核心训练脚本，用于训练和评估模型，根据指定的迁移类型进行。
• tune_fgvc.py: 调整特定于细粒度视觉分类（FGVC）任务的学习率和权重衰减。
• tune_vtab.py: 针对Visual Task Adaptation Benchmark (VTAB) 任务的调优脚本，包括学习率和权重衰减的寻找过程。

通过调用这些脚本，您可以根据自己的需求对模型进行训练或调优。

3. 项目的配置文件介绍

配置文件位于src/configs下，其中config.py是心脏，定义了实验的各种配置选项。配置项覆盖：

• 模型参数：包括提示长度(MODEL.PROMPT.NUM_TOKENS)、深浅提示(MODEL.PROMPT.DEEP)。
• 迁移学习类型：指定模型的微调策略(MODEL.TRANSFER_TYPE)。
• 模型架构：如ViT、Swin等类型以及模型根目录(MODEL.TYPE, MODEL.MODEL_ROOT)。
• 优化参数：基础学习率(SOLVER.BASE_LR)、权重衰减(SOLVER.WEIGHT_DECAY)。
• 数据集设置：包括名称、数据路径、类别数等。
• 其他运行参数：如输出目录(OUTPUT_DIR)、是否保存检查点(MODEL.SAVE_CKPT)等。

正确配置这些参数是成功运行实验的关键。开发者应仔细阅读配置文件中的注释，以理解每个参数的作用，并根据具体需求调整它们。

---

为了开始使用VPT，您还需确保满足所有依赖项，并且准备相应的数据集和预训练模型。详细的环境设置和数据准备步骤，请参考项目内的env_setup.sh脚本和相关文档（如VTAB_SETUP.md）。此指南提供了一个概览，实践时，请详细参阅项目仓库的最新文档以获取完整的细节和步骤。