MM-Interleaved 项目使用教程

1. 项目目录结构及介绍

MM-Interleaved 项目的目录结构如下：

MM-Interleaved/
├── docs/
│   └── examples/
├── mm_interleaved/
│   ├── configs/
│   │   └── release/
│   ├── models/
│   │   └── utils/
│   │       └── ops/
│   └── scripts/
├── assets/
├── OUTPUT/
├── LICENSE
├── README.md
├── evaluate.py
├── inference.py
├── requirements.txt
├── slurm_run.sh
└── train.py

目录结构介绍

• docs/: 包含项目的文档和示例文件。
  • examples/: 包含示例输入文件。
• mm_interleaved/: 项目的主要代码目录。
  • configs/: 包含项目的配置文件。
    • release/: 包含发布版本的配置文件。
  • models/: 包含模型的实现代码。
    • utils/: 包含模型使用的工具代码。
      • ops/: 包含自定义操作的实现。
  • scripts/: 包含下载预训练模型的脚本。
• assets/: 用于存放预训练模型和其他资源文件。
• OUTPUT/: 用于存放生成的输出文件。
• LICENSE: 项目的许可证文件。
• README.md: 项目的介绍和使用说明。
• evaluate.py: 用于评估模型的脚本。
• inference.py: 用于推理的脚本。
• requirements.txt: 项目依赖的Python包列表。
• slurm_run.sh: 用于在SLURM集群上运行的脚本。
• train.py: 用于训练模型的脚本。

2. 项目启动文件介绍

inference.py

inference.py 是用于推理的启动文件。它支持图像和文本的交错生成。使用方法如下：

python -u inference.py --config_file=mm_interleaved/configs/release/mm_inference.yaml

evaluate.py

evaluate.py 是用于评估模型的启动文件。它支持在多个基准数据集上进行零样本评估。使用方法如下：

bash slurm_run.sh $[GPUS] $[GPUS_PER_NODE] $[JOB_NAME] $[QUOTATYPE] $[PARATITION] evaluate.py /mm_interleaved/configs/release/mm_eval.yaml

train.py

train.py 是用于训练模型的启动文件。它支持在SLURM集群上进行分布式训练。使用方法如下：

bash slurm_run.sh $[GPUS] $[GPUS_PER_NODE] $[JOB_NAME] $[QUOTATYPE] $[PARATITION] train.py /mm_interleaved/configs/release/mm_pretrain.yaml

3. 项目的配置文件介绍

mm_inference.yaml

mm_inference.yaml 是用于推理的配置文件。它定义了推理过程中使用的模型、数据路径和其他参数。

mm_eval.yaml

mm_eval.yaml 是用于评估的配置文件。它定义了评估过程中使用的模型、数据路径和其他参数。

mm_pretrain.yaml

mm_pretrain.yaml 是用于预训练的配置文件。它定义了预训练过程中使用的模型、数据路径、训练参数和其他配置。

这些配置文件位于 mm_interleaved/configs/release/ 目录下，用户可以根据需要修改这些配置文件以适应不同的任务和环境。