GLaMM模型训练全指南：从预训练到多任务微调

前言

GLaMM（Grounding Large Multimodal Model）是一个强大的多模态基础模型，专注于视觉-语言理解与生成任务。本文将全面介绍GLaMM模型的训练流程，包括预训练阶段和下游任务的微调方法，帮助研究人员和开发者掌握这一先进模型的使用技巧。

模型概述

GLaMM模型首先在GranD数据集上进行预训练，然后在多个下游任务上进行微调，包括：

1. 基于对话的视觉定位生成（Grounded Conversation Generation, GCG）
2. 指代表达分割（Referring Expression Segmentation）
3. 区域级图像描述生成（Region-level Captioning）
4. 图像级描述生成（Image-level Captioning）

训练准备

数据准备

训练GLaMM需要组织多个开源数据集，建议按照以下结构整理数据目录：

data/
├── coco_caption/
├── refcoco/
├── visual_genome/
├── ade20k/
└── ...

预训练模型准备

训练需要两个关键预训练模型：

1. GLaMM GranD预训练模型（Hugging Face格式）
2. 基于SAM的视觉编码器检查点（用于图像分割任务）

下游任务微调

1. 基于对话的视觉定位生成（GCG）

GCG任务使模型能够根据对话内容定位图像中的特定区域。训练使用以下数据集组合：

• GranD-f数据集：RefCoco_GCG、PSG_GCG、Flickr_GCG、GranDf_GCG
• 语义分割数据集：ade20k、cocostuff、pascal_part等

训练命令示例：

deepspeed --master_port $MASTER_PORT train.py \
  --version $PRETRAINED_HF_PATH \
  --dataset_dir ./data/ \
  --vision_pretrained $GROUNDING_ENC_CKPT_PATH \
  --exp_name $OUTPUT_DIR_PATH \
  --lora_r 8 \
  --lr 3e-4 \
  --pretrained \
  --use_segm_data \
  --seg_dataset "Semantic_Segm||RefCoco_GCG||PSG_GCG||Flickr_GCG||GranDf_GCG" \
  --segm_sample_rates "1,3,3,3,1" \
  --val_dataset "FlickrGCGVal|RefCocoGCGVal|PsgGCGVal" \
  --epochs 10 \
  --steps_per_epoch 500 \
  --mask_validation

关键参数说明：

• lora_r：LoRA适配器的秩，控制参数效率
• segm_sample_rates：不同数据集的采样比例
• mask_validation：启用分割掩码验证

2. 区域级图像描述生成

此任务使模型能够为图像中的特定区域生成描述文本。支持两种数据集：

RefCOCOg数据集训练

deepspeed --master_port $MASTER_PORT train.py \
  --version $PRETRAINED_HF_PATH \
  --dataset_dir ./data/ \
  --vision_pretrained $GROUNDING_ENC_CKPT_PATH \
  --exp_name $OUTPUT_DIR_PATH \
  --lora_r 8 \
  --lr 3e-4 \
  --pretrained \
  --use_reg_data \
  --reg_dataset 'RefCocoG_Reg' \
  --reg_sample_rates "1" \
  --val_dataset 'RefCOCOgRegVal' \
  --epochs 5 \
  --steps_per_epoch 500

Visual Genome数据集训练

deepspeed --master_port $MASTER_PORT train.py \
  --version $PRETRAINED_HF_PATH \
  --dataset_dir ./data/ \
  --vision_pretrained $GROUNDING_ENC_CKPT_PATH \
  --exp_name $OUTPUT_DIR_PATH \
  --lora_r 8 \
  --lr 3e-4 \
  --pretrained \
  --use_reg_data \
  --reg_dataset 'VisGen_Reg' \
  --reg_sample_rates "1" \
  --val_dataset 'VisGenomeRegVal' \
  --epochs 5 \
  --steps_per_epoch 500

3. 指代表达分割

此任务使模型能够根据自然语言描述定位图像中的特定区域。

deepspeed --master_port $MASTER_PORT train.py \
  --version $PRETRAINED_HF_PATH \
  --dataset_dir ./data/ \
  --vision_pretrained $GROUNDING_ENC_CKPT_PATH \
  --exp_name $OUTPUT_DIR_PATH \
  --lora_r 8 \
  --lr 3e-4 \
  --pretrained \
  --use_segm_data \
  --seg_dataset "Refer_Segm" \
  --segm_sample_rates "1" \
  --refer_segm_data "refcoco||refcoco+||refcocog" \
  --val_dataset "RefCOCOgSegVal" \
  --epochs 5 \
  --steps_per_epoch 350 \
  --mask_validation

4. 多任务联合训练

为了实现模型的综合能力，可以同时训练多个任务：

deepspeed --master_port $MASTER_PORT train.py \
  --version $PRETRAINED_HF_PATH \
  --dataset_dir ./data/ \
  --vision_pretrained $GROUNDING_ENC_CKPT_PATH \
  --exp_name $OUTPUT_DIR_PATH \
  --lora_r 8 \
  --lr 3e-4 \
  --pretrained \
  --use_cap_data \
  --use_reg_data \
  --use_segm_data \
  -cap_dataset "CocoCap||LLaVaInstruct" \
  --cap_sample_rate "1,2" \
  --reg_dataset "RefCoco_Reg||RefCocoG_Reg||RefCocoP_Reg||VisGen_Reg||FlickrGCGVal" \
  --reg_sample_rates "1,1,1,1,1" \
  -seg_dataset "Semantic_Segm||Refer_Segm||RefCoco_GCG||PSG_GCG||Flickr_GCG||GranDf_GCG" \
  --segm_sample_rates "4,3,2,2,2,1" \
  --val_dataset "FlickrGCGVal|RefCocoGCGVal|PsgGCGVal" \
  --epochs 10 \
  --steps_per_epoch 500

LoRA权重合并

GLaMM使用LoRA（Low-Rank Adaptation）进行高效微调。训练完成后，需要合并LoRA权重：

1. 首先转换DeepSpeed检查点：

python zero_to_fp32.py . ./pytorch_model.bin

2. 然后合并LoRA权重：

export PYTHONPATH="./:$PYTHONPATH"
python scripts/merge_lora_weights.py \
  --version 'MBZUAI/GLaMM-GranD-Pretrained' \
  --weight 'path/to/pytorch_model.bin' \
  --save_path 'path/to/save/the/merged/model/in/HF/format'

训练建议

1. 硬件配置：建议使用多GPU环境，至少4张A100 80GB显卡
2. 学习率调整：根据任务复杂度调整学习率，简单任务可尝试5e-5，复杂任务可提高到1e-4
3. 批次大小：根据显存容量调整，确保充分利用GPU资源
4. 训练监控：建议使用TensorBoard或WandB监控训练过程

常见问题

1. 显存不足：尝试减小批次大小或使用梯度累积
2. 训练不稳定：降低学习率或使用学习率预热
3. 过拟合：增加数据增强或使用早停策略

通过本指南，您应该能够成功训练GLaMM模型并在各种视觉-语言任务上获得优异性能。根据具体应用场景，可以灵活调整训练策略和数据组合。