UniT 统一 Transformer 多模态多任务学习:MMF 中的架构原理、预训练模型评测与训练复现指南

原创2026-10-11 22:14:081,613 阅读
文章标签:多模态人工智能深度学习NLP计算机视觉预训练

UniT 统一 Transformer 多模态多任务学习:MMF 中的架构原理、预训练模型评测与训练复现指南

UniT(Unified Transformer)是 MMF(Facebook AI Research 开源的视觉与语言多模态研究框架)中内置的一个多模态多任务模型,基于 Transformer encoder-decoder 架构,用一套共享参数同时学习目标检测、视觉问答、自然语言推理与 GLUE 文本理解等多领域任务。本文以 MMF 仓库中的 UniT 项目文档 为主线,结合 UniT 模型源码 与 项目配置,完整讲解 UniT 的架构原理、8 数据集预训练模型的单卡评测方法、Slurm 多卡训练复现方案,以及全部 13 组实验配置与关键参数的源码级解析。读完本文,你将能够在 MMF 中直接评测官方预训练 UniT 模型,并从零训练属于自己的多任务模型。

UniT 是什么:统一 Transformer 的多模态多任务架构

UniT 出自论文 UniT: Multimodal Multitask Learning with a Unified Transformer(R. Hu 与 A. Singh,arXiv preprint arXiv:2102.10772,2021),该实现以 MMF 项目页的形式随框架一起发布。论文的引用信息如下:

@article{hu2021unit,
  title={UniT: Multimodal multitask learning with a unified transformer},
  author={Hu, Ronghang and Singh, Amanpreet},
  journal={arXiv preprint arXiv:2102.10772},
  year={2021}
}

从论文摘要看,UniT 的核心设计是:基于 Transformer encoder-decoder 架构,每个输入模态使用一个编码器进行编码,所有任务共享同一个解码器在编码表示上做预测,最后接任务专用(task-specific)的输出头;整个模型以各任务损失的加权和做端到端联合训练。与以往"每个任务单独微调一套 Transformer"的做法不同,UniT 在所有任务间共享同一套模型参数,可同时处理跨域(目标检测、自然语言理解、多模态推理)的多种任务。论文在 8 个数据集上联合学习 7 个任务,在保持各任务强性能的同时参数量减少了 87.5%(该数据来自论文摘要)。

MMF 中的 UniT 源码结构

UniT 的完整实现位于 mmf/models/unit 目录下,主要由以下模块组成:

文件 职责
unit.py UniT 主模型类,负责装配各子模块、定义前向流程与各任务损失
unit_base_model.py UniTBaseModel 基座模型(源自 DETR)、MLP 预测头、AttributeHead 属性头、SetCriterion 检测损失
transformer.py UniTTransformer 及其 encoder/decoder 层实现
backbone.py ResNet 卷积主干与正弦位置编码
matcher.py HungarianMatcher 匈牙利匹配器
misc.py NestedTensor 变长图像批处理容器

代码注释中多处标注"Mostly copy-pasted from facebookresearch/detr",说明 UniT 的视觉基座直接继承了 DETR 的实现思路。UniT 类通过 @registry.register_model("unit") 注册进 MMF 模型注册表(mmf/models/unit/init.py),因此命令行中用 model=unit 即可启用;其 config_path() 返回 configs/models/unit/defaults.yaml,即该模型的默认配置来源。

模型构建:从 DETR 基座到多任务装配

UniT.build()(mmf/models/unit/unit.py#L44-L71)的构建流程分四步:

  1. 构建视觉基座:实例化 UniTBaseModel,并根据 base_ckpt_path 加载预训练检查点。各项目配置默认使用 DETR 官方发布的 detr-r50-dc5-f0fb7ef5.pth(URL 写在配置的 base_ckpt_path 字段中),且 base_ckpt_load_backbone_only: true,即只取其中 ResNet backbone 参数作为初始化(keep_only_backbone_params 会剔除检查点中不含 backbone 的键)。
  2. 构建文本编码器:使用 MMF 的 TransformerEncoder 加载 bert-base-uncased,再通过两个线性层(bert_projection、bert_pos_projection)把 BERT 的 768 维隐藏状态与位置嵌入投影到 DETR 解码器的 decoder_hidden_dim 维(项目配置中为 768)。
  3. 构建任务嵌入:若开启 use_task_embedding_in_lang_encoder,则为语言编码器配备一个 nn.Embedding(max_task_num, 768);图像编码器侧的任务嵌入(task_embeddings_enc)则在 UniTTransformer 内构建(mmf/models/unit/transformer.py#L105-L110)。
  4. 构建任务输出头:为每个检测数据集创建分类头 class_embeds(线性层输出 num_classes + 1,多出的 1 类是 no-object)与框回归头 bbox_embeds(3 层 MLP 输出 4 维归一化框),并为 VG 数据集按需挂 AttributeHead 属性预测头;为每个 VL/GLUE 数据集创建 BertPredictionHeadTransform + Linear 组成的分类头,维度对齐 num_labels。

前向流程与损失路由

UniT.forward()(mmf/models/unit/unit.py#L196-L231)先通过 get_task_type(dataset_name) 判断当前样本属于哪类任务——detection、vl 还是 glue(判定依据是 heads 配置里是否存在该数据集条目),再据此决定输入组合:

  • vl / glue 任务:文本走 forward_bert_with_task_idx(BERT 编码,若开启任务嵌入则在序列前拼一个任务嵌入 token),图像(仅 vl 有)与文本表示一起送入基座模型;
  • detection 任务:只送入图像,由 DETR 式基座完成检测。

随后由 loss_calculation_fn[task_type] 路由到对应损失函数:

  • 检测损失(detection_loss_calculation,unit.py#L233-L278):从解码器输出的 hidden_states 生成 pred_logits 与 pred_boxes,开启 aux_loss 时每个中间解码层都会产生辅助输出参与监督,最终由 SetCriterion 计算分类(CE)、L1 框回归、GIoU 与(可选)属性损失;
  • 分类损失(classifier_loss_calculation,unit.py#L280-L316):取解码器最后一个 query 的隐藏状态做 dropout 后送入分类头,vqa2 使用 binary_cross_entropy_with_logits,其余 GLUE/VE 任务使用 cross_entropy(可在 heads 配置的 loss_type 中指定)。值得注意的是 vqa2 的 loss 会乘以 targets.size(1)(候选答案数),对应多标签软标签监督。

优化器参数分组

get_optimizer_parameters()(unit.py#L318-L347)把参数分为两组:backbone 参数单独使用 base_args.lr_backbone(默认 1e-5)的学习率,其余所有模块(BERT、投影层、任务嵌入、各类头)使用主学习率。这正是各配置中 optimizer.params.lr: 5e-5 与 base_args.lr_backbone: 1e-5 并存的原因。

8 数据集预训练模型评测

项目提供了一组在 8 个数据集上联合训练好的单个 UniT 模型(共享解码器 + COCO 初始化),覆盖:COCO 检测、Visual Genome(VG)检测、VQAv2、SNLI-VE、QNLI、MNLI-mm、QQP、SST-2,对应论文 Table 3 line 5 的模型。模型权重挂在 MMF 模型库中(见 mmf/configs/zoo/models.yaml#L518-L533 的 unit.all_8_datasets.shared_dec_with_coco_init 条目)。

评测前置条件

先按 MMF 的安装指南完成框架安装。评测命令会自动下载全部 8 个数据集、预训练模型及必要依赖,无需手工准备数据。

单卡评测共享解码器模型

使用单张 GPU 在 8 个数据集上评测的命令如下(来自项目文档,可完整复制运行):

# evaluating using a single GPU on 8 datasets
CUDA_VISIBLE_DEVICES=0 python mmf_cli/run.py \
    config=projects/unit/configs/all_8_datasets/shared_dec.yaml \
    datasets=detection_coco,detection_visual_genome,vqa2,visual_entailment,glue_qnli,glue_sst2,glue_mnli_mismatched,glue_qqp \
    model=unit run_type=val training.batch_size=1 \
    checkpoint.resume_zoo=unit.all_8_datasets.shared_dec_with_coco_init

该命令对应的官方评测结果为:

- val/detection_coco/detection_mean_ap: 0.3899,
- val/detection_visual_genome/detection_mean_ap: 0.0329,
- val/vqa2/vqa_accuracy: 0.6696,
- val/visual_entailment/accuracy: 0.7316,
- val/glue_qnli/accuracy: 0.8790,
- val/glue_sst2/accuracy: 0.8922,
- val/glue_mnli_mismatched/accuracy: 0.8090,
- val/glue_qqp/accuracy: 0.9065

同一组数字也记录在模型库的注释中(mmf/configs/zoo/models.yaml#L521-L528),可作为评测自检的基准。checkpoint.resume_zoo 指向模型库键名,MMF 的 checkpoint 加载逻辑(mmf/trainers/lightning_trainer.py#L194-L199、mmf/utils/checkpoint.py#L230-L241)会调用 download_pretrained_model 自动下载权重。

评测无任务嵌入变体

官方还提供了一个**编码器中不使用任务嵌入(task embedding)**的变体模型,目的是让后续扩展到更多下游任务更容易。评测命令为:

# evaluating using a single GPU on 8 datasets
CUDA_VISIBLE_DEVICES=0 python mmf_cli/run.py \
    config=projects/unit/configs/all_8_datasets/shared_dec_without_task_embedding.yaml \
    datasets=detection_coco,detection_visual_genome,vqa2,visual_entailment,glue_qnli,glue_sst2,glue_mnli_mismatched,glue_qqp \
    model=unit run_type=val training.batch_size=1 \
    checkpoint.resume_zoo=unit.all_8_datasets.shared_dec_with_coco_init_without_task_embedding

其官方评测结果为:

- val/detection_coco/detection_mean_ap: 0.3847,
- val/detection_visual_genome/detection_mean_ap: 0.0331,
- val/vqa2/vqa_accuracy: 0.6825,
- val/visual_entailment/accuracy: 0.7407,
- val/glue_qnli/accuracy: 0.8815,
- val/glue_sst2/accuracy: 0.8850,
- val/glue_mnli_mismatched/accuracy: 0.8061,
- val/glue_qqp/accuracy: 0.9061

对比可见,去掉任务嵌入后 VQAv2 与 VE 的精度反而略高,而检测与部分 GLUE 任务略有波动,这为"任务嵌入是否必要"提供了实验证据。

训练自己的 UniT 模型

官方实验使用 Slurm 集群训练:batch size 64、64 块 GPU(8 节点 × 每节点 8 卡)。训练与评测的通用流程遵循 MMF 文档中的快速上手约定。

训练 8 数据集模型(共享解码器,COCO 初始化)

对应论文 Table 3 line 5、即上面评测的同一模型,训练命令如下:

# you may need to adapt the following line to your cluster setting
srun --mem=300g --nodes=8 --gres=gpu:8 --time=4300 --cpus-per-task=40 \
python mmf_cli/run.py \
    config=projects/unit/configs/all_8_datasets/shared_dec.yaml \
    datasets=detection_coco,detection_visual_genome,vqa2,visual_entailment,glue_qnli,glue_sst2,glue_mnli_mismatched,glue_qqp \
    model=unit run_type=train \
    env.save_dir=./save/unit/all_8_datasets/shared_dec \
    distributed.world_size=64 distributed.port=20000 \
    checkpoint.resume_zoo=unit.coco.single_task

这里 checkpoint.resume_zoo=unit.coco.single_task 表示从在 COCO 上单任务训练好的模型初始化(该权重同样随 MMF 模型库提供)。也可以按下文第 1 行的配置自行训练这个 COCO 单任务模型,再用 checkpoint.resume_file=<训练产物中 unit_final.pth 的路径> 达到同样的初始化效果。

全部实验配置一览

项目在 projects/unit/configs 下提供了一整套可复现论文实验的配置文件。下表完整列出(配置路径均以仓库根目录为基准):

# Datasets Config Files Notes
single-task training
1 detection_coco coco/single_task.yaml paper Table 1 line 1
2 detection_visual_genome vg/single_task.yaml paper Table 1 line 1
3 vqa2 vqa2/single_task.yaml paper Table 1 line 1
COCO, VG, and VQAv2
4 detection_coco, vqa2 coco_vqa2/shared_dec.yaml paper Table 2 line 2**
5 detection_coco, vqa2 coco_vqa2/separate_dec.yaml **
6 detection_visual_genome, vqa2 vg_vqa2/shared_dec.yaml paper Table 2 line 3**
7 detection_visual_genome, vqa2 vg_vqa2/separate_dec.yaml **
8 detection_coco, detection_visual_genome, vqa2 coco_vg_vqa2/shared_dec.yaml paper Table 2 line 4**
9 detection_coco, detection_visual_genome, vqa2 coco_vg_vqa2/separate_dec.yaml **
all 8 datasets
10 detection_coco, detection_visual_genome, vqa2, visual_entailment, glue_qnli, glue_sst2, glue_mnli_mismatched, glue_qqp all_8_datasets/shared_dec.yaml paper Table 3 line 3 and 5**
11 detection_coco, detection_visual_genome, vqa2, visual_entailment, glue_qnli, glue_sst2, glue_mnli_mismatched, glue_qqp all_8_datasets/separate_dec.yaml paper Table 3 line 2 and 4**
without using task embedding
12 detection_coco coco/single_task_without_task_embedding.yaml No task embedding in encoders
13 detection_coco, detection_visual_genome, vqa2, visual_entailment, glue_qnli, glue_sst2, glue_mnli_mismatched, glue_qqp all_8_datasets/shared_dec_without_task_embedding.yaml No task embedding in encoders***

** 若要使用 COCO 初始化,请在训练命令中追加 checkpoint.resume_zoo=unit.coco.single_task(也可以改用 checkpoint.resume_file=xxx,其中 xxx 是第 1 行模型训练产物目录中 unit_final.pth 的路径)。

*** 若要使用 COCO 初始化,请追加 checkpoint.resume_zoo=unit.coco.single_task_without_task_embedding(或使用第 12 行模型训练产物中的 unit_final.pth 路径)。

通用训练与评测模板

  1. 用 Slurm 训练任意配置:
# append checkpoint.resume_zoo as mentioned above to run with COCO init
# you may need to adapt the following line to your cluster setting
srun --mem=300g --nodes=8 --gres=gpu:8 --time=4300 --cpus-per-task=40 \
python mmf_cli/run.py \
    config=projects/unit/configs/<config_file> \
    datasets=<datasets> \
    model=unit run_type=train \
    env.save_dir=<specify_your_saving_dir> \
    distributed.world_size=64 distributed.port=20000
  1. 单卡评测已训练模型:
# evaluating using a single GPU on 8 datasets
CUDA_VISIBLE_DEVICES=0 python mmf_cli/run.py \
    config=projects/unit/configs/<config_file> \
    datasets=<datasets> \
    model=unit run_type=val training.batch_size=1 \
    env.save_dir=<same_saving_dir_as_in_training> \
    checkpoint.resume=True checkpoint.resume_best=True

注意评测时 env.save_dir 要指向训练时相同的目录,并开启 checkpoint.resume_best=True 以加载最佳检查点。

关键配置深度解析

模型默认配置

mmf/configs/models/unit/defaults.yaml 定义了 UniT 的全部默认参数,项目配置通过 base_args 覆盖其中一部分。核心参数说明如下:

参数 默认值 含义
base_ckpt_path '' DETR 初始检查点(URL 或本地路径),项目配置默认使用 detr-r50-dc5-f0fb7ef5.pth
base_ckpt_load_backbone_only false 为 true 时仅加载其中 ResNet backbone 参数
detection_loss_weight 1. 检测损失的全局权重系数
loss_on_all_hs false 为 false 时仅用最后一个解码层隐藏状态计算分类损失
keep_only_bert_cls 按数据集 是否只保留 BERT [CLS] token 的隐藏状态(VL 的 vqa2 为 false,VE 及全部 GLUE 任务为 true)
base_args.backbone resnet50 视觉主干网络
base_args.enc_layers / dec_layers 6 / 6 编码器/解码器层数
base_args.encoder_hidden_dim / decoder_hidden_dim 256 / 256 编码器/解码器隐藏维度(项目配置中解码器为 768,与 BERT 输出对齐)
base_args.dim_feedforward 2048 FFN 中间维度
base_args.nheads 8 注意力头数
base_args.dropout 0.1 dropout 概率
base_args.dilation false 是否在 ResNet 第 4 阶段启用空洞卷积(项目配置统一为 true,对应 DETR 的 dc5 变体)
base_args.aux_loss true 是否使用解码器中间层辅助损失
base_args.set_cost_class / set_cost_bbox / set_cost_giou 1. / 5. / 2. 匈牙利匹配成本中分类 / L1 框 / GIoU 的权重
base_args.bbox_loss_coef / giou_loss_coef / attr_loss_coef 5. / 2. / 1. 框回归 / GIoU / 属性损失的损失权重
base_args.eos_coef 0.1 no-object 类别的相对分类权重
base_args.share_decoders false 是否所有数据集共享同一个解码器(对应 shared_dec / separate_dec 两组实验)
base_args.residual_in_encoder true 编码器输出是否叠加残差
base_args.use_task_embedding_in_img_encoder / in_lang_encoder false / false 是否在图像 / 文本编码器中加入任务嵌入
base_args.attribute_class_num 401 VG 属性类别数
base_args.max_attribute_num 16 每个实例最多标注的属性数
max_task_num 256 任务嵌入表的最大容量(对应 task_idx 上限)

任务头(heads)配置

heads 为每个数据集声明其任务类型、任务索引与输出维度(同样定义在 defaults.yaml):

  • detection:detection_coco(task_idx: 0,91 类)、detection_visual_genome(task_idx: 1,1601 类且 use_attr: true,即启用属性预测头);
  • vl:vqa2(task_idx: 3,3129 个答案标签,loss_type: binary_cross_entropy_with_logits)、visual_entailment(task_idx: 9,3 类,交叉熵);
  • glue:glue_qnli(task_idx: 5,2 类)、glue_mnli_mismatched(task_idx: 6,3 类)、glue_sst2(task_idx: 7,2 类)、glue_qqp(task_idx: 8,2 类),损失均为交叉熵。

task_idx 用于索引任务嵌入向量:图像编码器侧取 task_embeddings_enc.weight<a href="https://link.gitcode.com/i/6eae1148356be5369d48f3e1af6a9e00" target="_blank">task_idx] 拼到序列头部([transformer.py#L219-L236),文本编码器侧由 forward_bert_with_task_idx 拼接(unit.py#L169-L178),解码后会把该嵌入 token 从输出中剔除(mem_out_begin_idx)。

数据集与多任务采样配置

all_8_datasets/shared_dec.yaml 中除了模型配置,还包含三类关键设置:

  • num_queries:每个数据集的解码器 query 数量——两个检测数据集各 100,VQAv2、SNLI-VE 与四个 GLUE 任务各 25。UniTBaseModel 会为每个数据集建一个 nn.Embedding(num_queries, decoder_hidden_dim) 作为该任务的 query(unit_base_model.py#L28-L35);
  • multitasking 采样比例:detection_coco: 0.2、detection_visual_genome: 0.07、visual_entailment: 0.12、vqa2: 0.26、glue_qnli: 0.1、glue_mnli_mismatched: 0.1、glue_qqp: 0.1、glue_sst2: 0.05(对应 MMF 全局 multitasking.type: ratios,见 mmf/configs/defaults.yaml#L399-L402);
  • 训练超参:optimizer: adam_w(lr 5e-5、eps 1e-8、weight_decay 1e-4)、scheduler: warmup_cosine(2000 步预热)、batch_size: 64、梯度裁剪 max_grad_l2_norm: 0.1、max_updates 依配置规模从 15 万(单任务)到 50 万(8 数据集)不等,每 1 万步存一次 checkpoint 并评估一次。

另外,各数据集配置规定了输入处理方式:检测数据集使用 detr_image_and_target 处理器(mmf/datasets/processors/processors.py#L1727-L1763),训练时随机水平翻转与随机裁剪、测试时把短边缩放到 800 并限制长边不超过 1333;VQAv2 与 SNLI-VE 则使用 bert_tokenizer(max_seq_length: 25,小写化)+ torchvision_transforms 图像预处理(见 projects/unit/configs/vqa2_dataset_cfg.yaml 与 projects/unit/configs/visual_entailment_dataset_cfg.yaml),GLUE 各任务的文本长度上限为 128(mmf/configs/datasets/glue/defaults.yaml)。

评测指标配置

8 数据集配置中的 evaluation.metrics 声明了三类指标:vqa_accuracy(vqa2)、detection_mean_ap(两个检测数据集,其 val 标注 JSON 路径以 ${env.data_dir} 占位符动态指向本地数据目录)、accuracy(VE 与四个 GLUE 任务),与上文评测输出中的指标名一一对应。

模型动物园与权重加载

UniT 相关的预训练权重全部登记在 MMF 模型库中(mmf/configs/zoo/models.yaml#L499-L548):

模型库键 说明 单任务 COCO 检测 mAP(模型库注释)
unit.coco.single_task COCO 单任务(含任务嵌入) 0.4054
unit.coco.single_task_without_task_embedding COCO 单任务(无任务嵌入) 0.4015
unit.all_8_datasets.shared_dec_with_coco_init 8 数据集共享解码器(COCO 初始化) 见上文评测结果
unit.all_8_datasets.shared_dec_with_coco_init_without_task_embedding 8 数据集共享解码器(无任务嵌入) 见上文评测结果

每个条目都带 version 与资源 hashcode(如 unit.all_8_datasets.shared_dec_with_coco_init 的 hashcode 为 63cd3a5c...),下载时会做校验。命令行通过 checkpoint.resume_zoo=<键名> 即可按名加载,这也是"从单任务模型初始化多任务训练"与"直接评测预训练模型"两条流程的底层机制。

注意事项与适用前提

  • 硬件前提:官方训练配置面向 64 卡(8 节点 × 8 卡)Slurm 集群,单卡用户应降低 distributed.world_size 与 training.batch_size(评测命令已按单卡给出 training.batch_size=1);
  • 数据自动下载:评测/训练命令会自动下载 8 个数据集及其依赖,耗时较长,请确保网络可达并预留磁盘空间;
  • use_attr 与 predict_attributes:默认 predict_attributes: false,检测阶段不输出属性;若启用需同时保证数据集带属性标注(VG 的检测配置 load_attributes: true,COCO 为 false);
  • 任务嵌入开关:共享解码器模型默认开启 use_task_embedding_in_img_encoder 与 use_task_embedding_in_lang_encoder;若希望模型更容易扩展到新任务,可改用无任务嵌入配置(表内第 12/13 行);
  • 代码继承自 DETR:视觉基座、匈牙利匹配器、检测损失与 DETR 保持一致,理解 DETR 的 set prediction 机制有助于排查检测分支问题;
  • 仓库为只读:上述命令均用于查看、安装、运行与配置,涉及权重与数据会自动下载到 env.data_dir 指定的本地目录,无需修改仓库文件。
登录后查看全文
mmf