Skywork-R1V开源项目使用教程

1. 项目目录结构及介绍

Skywork-R1V项目的目录结构如下：

skywork-r1v/
├── imgs/                     # 存放项目相关图片
├── inference/                # 包含推理代码和启动脚本
│   ├── setup.sh              # 环境配置脚本
│   └── inference_with_transformers.py # 推理主程序
├── LICENSE                   # 项目许可证文件
├── README.md                 # 项目说明文件
├── Skywork_R1V.pdf           # 项目技术报告
└── ...

目录说明：

• imgs/：此目录包含了项目相关的示例图片或其他视觉数据。
• inference/：包含运行推理所需的代码和脚本。
  • setup.sh：用于配置项目运行所需的环境。
  • inference_with_transformers.py：项目的主要执行文件，用于进行推理操作。
• LICENSE：包含了项目的许可证信息，本项目采用MIT许可证。
• README.md：项目说明文件，提供了项目的基本信息和如何使用项目的指南。
• Skywork_R1V.pdf：项目的技术报告，详细介绍了模型的架构和性能。

2. 项目的启动文件介绍

项目的启动文件位于inference/目录下，名为inference_with_transformers.py。这个Python脚本是用来自动化推理过程的。使用该脚本时，需要指定模型路径、图片路径和问题文本。以下是启动文件的基本使用方法：

CUDA_VISIBLE_DEVICES="0,1" python inference_with_transformers.py --model_path path --image_paths image1_path --question "your question"

参数说明：

• CUDA_VISIBLE_DEVICES="0,1"：指定用于推理的GPU设备。
• --model_path path：指定模型权重文件的路径。
• --image_paths image1_path：指定待推理图片的路径。
• --question "your question"：提供需要模型回答的问题。

3. 项目的配置文件介绍

项目的配置主要通过环境配置脚本setup.sh来完成。这个脚本会帮助用户设置正确版本的Python环境并安装所需的依赖库。以下是配置文件的执行方法：

conda create -n r1-v python=3.10
conda activate r1-v
bash setup.sh

配置步骤：

1. 创建一个名为r1-v的虚拟环境，并指定Python版本为3.10。
2. 激活虚拟环境r1-v。
3. 运行setup.sh脚本，该脚本会安装项目运行所需的所有依赖。

通过以上步骤，用户可以成功配置项目环境，并开始使用Skywork-R1V进行推理操作。