VL-BERT 项目使用教程

1. 项目目录结构及介绍

VL-BERT/
├── cfg/
│   ├── common/
│   ├── vcr/
│   ├── vqa/
│   └── refcoco/
├── data/
├── external/
│   └── pytorch_pretrained_bert/
├── figs/
├── model/
│   └── pretrained_model/
├── pretrain/
├── refcoco/
├── scripts/
├── vcr/
├── viz/
├── vqa/
├── LICENSE
├── README.md
├── requirements.txt
└── ...

目录结构介绍

• cfg/: 包含项目的配置文件，分为不同的任务目录（如vcr, vqa, refcoco）。
• data/: 用于存放数据集文件。
• external/: 包含第三方库，如pytorch_pretrained_bert。
• figs/: 存放项目相关的图片文件。
• model/: 存放预训练模型文件。
• pretrain/: 包含预训练相关的代码。
• refcoco/: 包含RefCOCO任务相关的代码。
• scripts/: 包含启动脚本和辅助脚本。
• vcr/: 包含VCR任务相关的代码。
• viz/: 包含可视化相关的代码。
• vqa/: 包含VQA任务相关的代码。
• LICENSE: 项目的许可证文件。
• README.md: 项目的介绍和使用说明。
• requirements.txt: 项目依赖的Python包列表。

2. 项目启动文件介绍

启动脚本

项目的主要启动脚本位于scripts/目录下，常用的启动脚本包括：

• dist_run_single.sh: 用于在单机上进行分布式训练。
• dist_run_multi.sh: 用于在多机上进行分布式训练。
• nondist_run.sh: 用于非分布式训练。

使用示例

单机分布式训练

./scripts/dist_run_single.sh 4 vcr/train_end2end.py ./cfgs/vcr/base_q2a_4x16G_fp32.yaml ./checkpoints/

多机分布式训练

在机器A上运行：

./scripts/dist_run_multi.sh 2 0 <ip_addr_of_A> 4 vcr/train_end2end.py ./cfgs/vcr/base_q2a_4x16G_fp32.yaml ./checkpoints/

在机器B上运行：

./scripts/dist_run_multi.sh 2 1 <ip_addr_of_A> 4 vcr/train_end2end.py ./cfgs/vcr/base_q2a_4x16G_fp32.yaml ./checkpoints/

3. 项目配置文件介绍

配置文件主要位于cfg/目录下，根据不同的任务分为不同的子目录。每个任务目录下包含多个配置文件，用于定义训练和评估的参数。

配置文件示例

以VCR任务为例，配置文件可能如下：

# ./cfgs/vcr/base_q2a_4x16G_fp32.yaml

model:
  type: "vl-bert"
  ...

train:
  batch_size: 16
  learning_rate: 0.0001
  ...

data:
  dataset: "vcr"
  ...

配置文件结构

• model: 定义模型的类型和其他相关参数。
• train: 定义训练过程中的参数，如批量大小、学习率等。
• data: 定义数据集的相关参数。

通过修改这些配置文件，可以调整模型的训练和评估行为。