Sa2VA: 统一图像与视频密集接地理解的模型

1. 项目介绍

Sa2VA是一个创新的模型，旨在通过结合SAM2（一种基础视频分割模型）与LLaVA（一种先进的视觉语言模型），实现对图像和视频的密集接地理解。该模型通过将文本、图像和视频统一到一个共享的LLM（大型语言模型）令牌空间，能够支持多种图像和视频任务，如指引用户分割和对话等，且只需进行最少的一键式指令调整。

2. 项目快速启动

在开始之前，请确保您的系统中已安装Python和PyTorch。以下是快速启动Sa2VA模型的步骤：

# 创建并激活虚拟环境
conda create -n vlm python=3.10
conda activate vlm

# 安装PyTorch和相关依赖
conda install pytorch==2.3.1 torchvision==0.18.1 pytorch-cuda=12.1 cuda -c pytorch -c nvidia/label/cuda-12.1.0 -c nvidia/label/cuda-12.1.1
pip install mmcv==2.1.0 -f https://download.openmmlab.com/mmcv/dist/cu121/torch2.3/index.html
pip install -r requirements.txt

# 下载预训练模型并放置到pretrained目录下
# 下载训练数据集并解压到data目录下

# 训练模型（以下命令使用8个GPU进行训练）
bash tools/dist.sh train projects/llava_sam2/configs/sa2va_4b.py 8

# 将训练好的模型转换为huggingface格式
python projects/llava_sam2/hf/convert_to_hf.py projects/llava_sam2/configs/sa2va_4b.py --pth-model PATH_TO_PTH_MODEL --save-path PATH_TO_SAVE_FOLDER

3. 应用案例和最佳实践

以下是一些使用Sa2VA模型的应用案例：

• 指引用户分割：给定一个视频和一段描述，如“请分割穿黄色裙子的女孩”，模型将输出对应的分割结果。
• 场景理解：模型能够描述视频场景的气氛，例如，可以询问“场景的气氛是什么？”，模型可能会回答“场景气氛昏暗而神秘，男子们穿着西装领带，房间灯光昏暗。”

4. 典型生态项目

目前，Sa2VA模型已经在多个生态项目中得到应用，以下是一些典型的项目：

• LLaVA：一个开源的视觉语言模型，用于图像和文本理解。
• SAM2：一个视频分割模型，用于生成高质量的视频分割结果。

通过上述介绍，您可以快速了解如何使用Sa2VA模型，并开始自己的图像和视频理解项目。