Qwen2-VL-Finetune 项目安装与配置指南

1. 项目基础介绍

Qwen2-VL-Finetune 是一个用于微调 Qwen2-VL 和 Qwen2.5-VL 系列模型的开源项目。该项目基于 HuggingFace 和 Liger-Kernel，允许用户对视觉语言模型进行微调，以适应特定的数据集和应用场景。

主要编程语言：Python

2. 项目使用的关键技术和框架

• HuggingFace: 提供了易于使用的机器学习模型库和预训练模型。
• Liger-Kernel: 用于提高训练效率和节省内存的优化技术。
• Deepspeed: 微软开源的深度学习优化库，用于大规模模型训练。
• LoRA/QLoRA: 用于在模型训练过程中减少参数量的技术。

3. 项目安装和配置准备工作

在开始安装之前，请确保您的系统满足以下要求：

• 操作系统：Ubuntu 22.04
• GPU 驱动：Nvidia-Driver 550.120
• CUDA 版本：12.4

您还需要安装以下依赖：

• Python 3.8 或更高版本
• pip
• conda

安装步骤

1. 克隆项目仓库：

git clone https://github.com/2U1/Qwen2-VL-Finetune.git
cd Qwen2-VL-Finetune

2. 创建并激活 conda 环境：

conda env create -f environment.yaml
conda activate qwen2

3. 安装项目依赖：

pip install qwen-vl-utils
pip install flash-attn --no-build-isolation

注意： 应该先安装其他包，然后最后安装 flash-attn。

4. 配置训练数据集：根据项目要求准备 LLaVA 格式的 JSON 数据文件，并确保图像路径与 --image_folder 参数指定的路径匹配。

5. 运行训练脚本：根据您的需求选择合适的训练脚本开始模型微调。以下是几个示例命令：

• 完整微调：

bash scripts/finetune.sh

• 使用 8-bit 微调：

bash scripts/finetune_8bit.sh

• 使用 LoRA 微调：

bash scripts/finetune_lora.sh

确保在运行这些脚本之前，您已经根据需要调整了相应的参数。

以上就是 Qwen2-VL-Finetune 项目的详细安装和配置指南。按照这些步骤，即使是编程小白也能够顺利完成安装并开始使用该项目。