UniT 统一 Transformer 多模态多任务学习:MMF 中的架构原理、预训练模型评测与训练复现指南
UniT 统一 Transformer 多模态多任务学习:MMF 中的架构原理、预训练模型评测与训练复现指南
UniT(Unified Transformer)是 MMF(Facebook AI Research 开源的视觉与语言多模态研究框架)中内置的一个多模态多任务模型,基于 Transformer encoder-decoder 架构,用一套共享参数同时学习目标检测、视觉问答、自然语言推理与 GLUE 文本理解等多领域任务。本文以 MMF 仓库中的 UniT 项目文档 为主线,结合 UniT 模型源码 与 项目配置,完整讲解 UniT 的架构原理、8 数据集预训练模型的单卡评测方法、Slurm 多卡训练复现方案,以及全部 13 组实验配置与关键参数的源码级解析。读完本文,你将能够在 MMF 中直接评测官方预训练 UniT 模型,并从零训练属于自己的多任务模型。
UniT 是什么:统一 Transformer 的多模态多任务架构
UniT 出自论文 UniT: Multimodal Multitask Learning with a Unified Transformer(R. Hu 与 A. Singh,arXiv preprint arXiv:2102.10772,2021),该实现以 MMF 项目页的形式随框架一起发布。论文的引用信息如下:
@article{hu2021unit,
title={UniT: Multimodal multitask learning with a unified transformer},
author={Hu, Ronghang and Singh, Amanpreet},
journal={arXiv preprint arXiv:2102.10772},
year={2021}
}
从论文摘要看,UniT 的核心设计是:基于 Transformer encoder-decoder 架构,每个输入模态使用一个编码器进行编码,所有任务共享同一个解码器在编码表示上做预测,最后接任务专用(task-specific)的输出头;整个模型以各任务损失的加权和做端到端联合训练。与以往"每个任务单独微调一套 Transformer"的做法不同,UniT 在所有任务间共享同一套模型参数,可同时处理跨域(目标检测、自然语言理解、多模态推理)的多种任务。论文在 8 个数据集上联合学习 7 个任务,在保持各任务强性能的同时参数量减少了 87.5%(该数据来自论文摘要)。
MMF 中的 UniT 源码结构
UniT 的完整实现位于 mmf/models/unit 目录下,主要由以下模块组成:
| 文件 | 职责 |
|---|---|
| unit.py | UniT 主模型类,负责装配各子模块、定义前向流程与各任务损失 |
| unit_base_model.py | UniTBaseModel 基座模型(源自 DETR)、MLP 预测头、AttributeHead 属性头、SetCriterion 检测损失 |
| transformer.py | UniTTransformer 及其 encoder/decoder 层实现 |
| backbone.py | ResNet 卷积主干与正弦位置编码 |
| matcher.py | HungarianMatcher 匈牙利匹配器 |
| misc.py | NestedTensor 变长图像批处理容器 |
代码注释中多处标注"Mostly copy-pasted from facebookresearch/detr",说明 UniT 的视觉基座直接继承了 DETR 的实现思路。UniT 类通过 @registry.register_model("unit") 注册进 MMF 模型注册表(mmf/models/unit/init.py),因此命令行中用 model=unit 即可启用;其 config_path() 返回 configs/models/unit/defaults.yaml,即该模型的默认配置来源。
模型构建:从 DETR 基座到多任务装配
UniT.build()(mmf/models/unit/unit.py#L44-L71)的构建流程分四步:
- 构建视觉基座:实例化
UniTBaseModel,并根据base_ckpt_path加载预训练检查点。各项目配置默认使用 DETR 官方发布的detr-r50-dc5-f0fb7ef5.pth(URL 写在配置的base_ckpt_path字段中),且base_ckpt_load_backbone_only: true,即只取其中 ResNet backbone 参数作为初始化(keep_only_backbone_params会剔除检查点中不含backbone的键)。 - 构建文本编码器:使用 MMF 的
TransformerEncoder加载bert-base-uncased,再通过两个线性层(bert_projection、bert_pos_projection)把 BERT 的 768 维隐藏状态与位置嵌入投影到 DETR 解码器的decoder_hidden_dim维(项目配置中为 768)。 - 构建任务嵌入:若开启
use_task_embedding_in_lang_encoder,则为语言编码器配备一个nn.Embedding(max_task_num, 768);图像编码器侧的任务嵌入(task_embeddings_enc)则在UniTTransformer内构建(mmf/models/unit/transformer.py#L105-L110)。 - 构建任务输出头:为每个检测数据集创建分类头
class_embeds(线性层输出num_classes + 1,多出的 1 类是 no-object)与框回归头bbox_embeds(3 层 MLP 输出 4 维归一化框),并为 VG 数据集按需挂AttributeHead属性预测头;为每个 VL/GLUE 数据集创建BertPredictionHeadTransform + Linear组成的分类头,维度对齐num_labels。
前向流程与损失路由
UniT.forward()(mmf/models/unit/unit.py#L196-L231)先通过 get_task_type(dataset_name) 判断当前样本属于哪类任务——detection、vl 还是 glue(判定依据是 heads 配置里是否存在该数据集条目),再据此决定输入组合:
- vl / glue 任务:文本走
forward_bert_with_task_idx(BERT 编码,若开启任务嵌入则在序列前拼一个任务嵌入 token),图像(仅 vl 有)与文本表示一起送入基座模型; - detection 任务:只送入图像,由 DETR 式基座完成检测。
随后由 loss_calculation_fn[task_type] 路由到对应损失函数:
- 检测损失(
detection_loss_calculation,unit.py#L233-L278):从解码器输出的hidden_states生成pred_logits与pred_boxes,开启aux_loss时每个中间解码层都会产生辅助输出参与监督,最终由SetCriterion计算分类(CE)、L1 框回归、GIoU 与(可选)属性损失; - 分类损失(
classifier_loss_calculation,unit.py#L280-L316):取解码器最后一个 query 的隐藏状态做 dropout 后送入分类头,vqa2 使用binary_cross_entropy_with_logits,其余 GLUE/VE 任务使用cross_entropy(可在heads配置的loss_type中指定)。值得注意的是 vqa2 的 loss 会乘以targets.size(1)(候选答案数),对应多标签软标签监督。
优化器参数分组
get_optimizer_parameters()(unit.py#L318-L347)把参数分为两组:backbone 参数单独使用 base_args.lr_backbone(默认 1e-5)的学习率,其余所有模块(BERT、投影层、任务嵌入、各类头)使用主学习率。这正是各配置中 optimizer.params.lr: 5e-5 与 base_args.lr_backbone: 1e-5 并存的原因。
8 数据集预训练模型评测
项目提供了一组在 8 个数据集上联合训练好的单个 UniT 模型(共享解码器 + COCO 初始化),覆盖:COCO 检测、Visual Genome(VG)检测、VQAv2、SNLI-VE、QNLI、MNLI-mm、QQP、SST-2,对应论文 Table 3 line 5 的模型。模型权重挂在 MMF 模型库中(见 mmf/configs/zoo/models.yaml#L518-L533 的 unit.all_8_datasets.shared_dec_with_coco_init 条目)。
评测前置条件
先按 MMF 的安装指南完成框架安装。评测命令会自动下载全部 8 个数据集、预训练模型及必要依赖,无需手工准备数据。
单卡评测共享解码器模型
使用单张 GPU 在 8 个数据集上评测的命令如下(来自项目文档,可完整复制运行):
# evaluating using a single GPU on 8 datasets
CUDA_VISIBLE_DEVICES=0 python mmf_cli/run.py \
config=projects/unit/configs/all_8_datasets/shared_dec.yaml \
datasets=detection_coco,detection_visual_genome,vqa2,visual_entailment,glue_qnli,glue_sst2,glue_mnli_mismatched,glue_qqp \
model=unit run_type=val training.batch_size=1 \
checkpoint.resume_zoo=unit.all_8_datasets.shared_dec_with_coco_init
该命令对应的官方评测结果为:
- val/detection_coco/detection_mean_ap: 0.3899,
- val/detection_visual_genome/detection_mean_ap: 0.0329,
- val/vqa2/vqa_accuracy: 0.6696,
- val/visual_entailment/accuracy: 0.7316,
- val/glue_qnli/accuracy: 0.8790,
- val/glue_sst2/accuracy: 0.8922,
- val/glue_mnli_mismatched/accuracy: 0.8090,
- val/glue_qqp/accuracy: 0.9065
同一组数字也记录在模型库的注释中(mmf/configs/zoo/models.yaml#L521-L528),可作为评测自检的基准。checkpoint.resume_zoo 指向模型库键名,MMF 的 checkpoint 加载逻辑(mmf/trainers/lightning_trainer.py#L194-L199、mmf/utils/checkpoint.py#L230-L241)会调用 download_pretrained_model 自动下载权重。
评测无任务嵌入变体
官方还提供了一个**编码器中不使用任务嵌入(task embedding)**的变体模型,目的是让后续扩展到更多下游任务更容易。评测命令为:
# evaluating using a single GPU on 8 datasets
CUDA_VISIBLE_DEVICES=0 python mmf_cli/run.py \
config=projects/unit/configs/all_8_datasets/shared_dec_without_task_embedding.yaml \
datasets=detection_coco,detection_visual_genome,vqa2,visual_entailment,glue_qnli,glue_sst2,glue_mnli_mismatched,glue_qqp \
model=unit run_type=val training.batch_size=1 \
checkpoint.resume_zoo=unit.all_8_datasets.shared_dec_with_coco_init_without_task_embedding
其官方评测结果为:
- val/detection_coco/detection_mean_ap: 0.3847,
- val/detection_visual_genome/detection_mean_ap: 0.0331,
- val/vqa2/vqa_accuracy: 0.6825,
- val/visual_entailment/accuracy: 0.7407,
- val/glue_qnli/accuracy: 0.8815,
- val/glue_sst2/accuracy: 0.8850,
- val/glue_mnli_mismatched/accuracy: 0.8061,
- val/glue_qqp/accuracy: 0.9061
对比可见,去掉任务嵌入后 VQAv2 与 VE 的精度反而略高,而检测与部分 GLUE 任务略有波动,这为"任务嵌入是否必要"提供了实验证据。
训练自己的 UniT 模型
官方实验使用 Slurm 集群训练:batch size 64、64 块 GPU(8 节点 × 每节点 8 卡)。训练与评测的通用流程遵循 MMF 文档中的快速上手约定。
训练 8 数据集模型(共享解码器,COCO 初始化)
对应论文 Table 3 line 5、即上面评测的同一模型,训练命令如下:
# you may need to adapt the following line to your cluster setting
srun --mem=300g --nodes=8 --gres=gpu:8 --time=4300 --cpus-per-task=40 \
python mmf_cli/run.py \
config=projects/unit/configs/all_8_datasets/shared_dec.yaml \
datasets=detection_coco,detection_visual_genome,vqa2,visual_entailment,glue_qnli,glue_sst2,glue_mnli_mismatched,glue_qqp \
model=unit run_type=train \
env.save_dir=./save/unit/all_8_datasets/shared_dec \
distributed.world_size=64 distributed.port=20000 \
checkpoint.resume_zoo=unit.coco.single_task
这里 checkpoint.resume_zoo=unit.coco.single_task 表示从在 COCO 上单任务训练好的模型初始化(该权重同样随 MMF 模型库提供)。也可以按下文第 1 行的配置自行训练这个 COCO 单任务模型,再用 checkpoint.resume_file=<训练产物中 unit_final.pth 的路径> 达到同样的初始化效果。
全部实验配置一览
项目在 projects/unit/configs 下提供了一整套可复现论文实验的配置文件。下表完整列出(配置路径均以仓库根目录为基准):
| # | Datasets | Config Files | Notes |
|---|---|---|---|
| single-task training | |||
| 1 | detection_coco |
coco/single_task.yaml | paper Table 1 line 1 |
| 2 | detection_visual_genome |
vg/single_task.yaml | paper Table 1 line 1 |
| 3 | vqa2 |
vqa2/single_task.yaml | paper Table 1 line 1 |
| COCO, VG, and VQAv2 | |||
| 4 | detection_coco, vqa2 |
coco_vqa2/shared_dec.yaml | paper Table 2 line 2** |
| 5 | detection_coco, vqa2 |
coco_vqa2/separate_dec.yaml | ** |
| 6 | detection_visual_genome, vqa2 |
vg_vqa2/shared_dec.yaml | paper Table 2 line 3** |
| 7 | detection_visual_genome, vqa2 |
vg_vqa2/separate_dec.yaml | ** |
| 8 | detection_coco, detection_visual_genome, vqa2 |
coco_vg_vqa2/shared_dec.yaml | paper Table 2 line 4** |
| 9 | detection_coco, detection_visual_genome, vqa2 |
coco_vg_vqa2/separate_dec.yaml | ** |
| all 8 datasets | |||
| 10 | detection_coco, detection_visual_genome, vqa2, visual_entailment, glue_qnli, glue_sst2, glue_mnli_mismatched, glue_qqp |
all_8_datasets/shared_dec.yaml | paper Table 3 line 3 and 5** |
| 11 | detection_coco, detection_visual_genome, vqa2, visual_entailment, glue_qnli, glue_sst2, glue_mnli_mismatched, glue_qqp |
all_8_datasets/separate_dec.yaml | paper Table 3 line 2 and 4** |
| without using task embedding | |||
| 12 | detection_coco |
coco/single_task_without_task_embedding.yaml | No task embedding in encoders |
| 13 | detection_coco, detection_visual_genome, vqa2, visual_entailment, glue_qnli, glue_sst2, glue_mnli_mismatched, glue_qqp |
all_8_datasets/shared_dec_without_task_embedding.yaml | No task embedding in encoders*** |
** 若要使用 COCO 初始化,请在训练命令中追加
checkpoint.resume_zoo=unit.coco.single_task(也可以改用checkpoint.resume_file=xxx,其中xxx是第 1 行模型训练产物目录中unit_final.pth的路径)。*** 若要使用 COCO 初始化,请追加
checkpoint.resume_zoo=unit.coco.single_task_without_task_embedding(或使用第 12 行模型训练产物中的unit_final.pth路径)。
通用训练与评测模板
- 用 Slurm 训练任意配置:
# append checkpoint.resume_zoo as mentioned above to run with COCO init
# you may need to adapt the following line to your cluster setting
srun --mem=300g --nodes=8 --gres=gpu:8 --time=4300 --cpus-per-task=40 \
python mmf_cli/run.py \
config=projects/unit/configs/<config_file> \
datasets=<datasets> \
model=unit run_type=train \
env.save_dir=<specify_your_saving_dir> \
distributed.world_size=64 distributed.port=20000
- 单卡评测已训练模型:
# evaluating using a single GPU on 8 datasets
CUDA_VISIBLE_DEVICES=0 python mmf_cli/run.py \
config=projects/unit/configs/<config_file> \
datasets=<datasets> \
model=unit run_type=val training.batch_size=1 \
env.save_dir=<same_saving_dir_as_in_training> \
checkpoint.resume=True checkpoint.resume_best=True
注意评测时 env.save_dir 要指向训练时相同的目录,并开启 checkpoint.resume_best=True 以加载最佳检查点。
关键配置深度解析
模型默认配置
mmf/configs/models/unit/defaults.yaml 定义了 UniT 的全部默认参数,项目配置通过 base_args 覆盖其中一部分。核心参数说明如下:
| 参数 | 默认值 | 含义 |
|---|---|---|
base_ckpt_path |
'' |
DETR 初始检查点(URL 或本地路径),项目配置默认使用 detr-r50-dc5-f0fb7ef5.pth |
base_ckpt_load_backbone_only |
false |
为 true 时仅加载其中 ResNet backbone 参数 |
detection_loss_weight |
1. |
检测损失的全局权重系数 |
loss_on_all_hs |
false |
为 false 时仅用最后一个解码层隐藏状态计算分类损失 |
keep_only_bert_cls |
按数据集 | 是否只保留 BERT [CLS] token 的隐藏状态(VL 的 vqa2 为 false,VE 及全部 GLUE 任务为 true) |
base_args.backbone |
resnet50 |
视觉主干网络 |
base_args.enc_layers / dec_layers |
6 / 6 |
编码器/解码器层数 |
base_args.encoder_hidden_dim / decoder_hidden_dim |
256 / 256 |
编码器/解码器隐藏维度(项目配置中解码器为 768,与 BERT 输出对齐) |
base_args.dim_feedforward |
2048 |
FFN 中间维度 |
base_args.nheads |
8 |
注意力头数 |
base_args.dropout |
0.1 |
dropout 概率 |
base_args.dilation |
false |
是否在 ResNet 第 4 阶段启用空洞卷积(项目配置统一为 true,对应 DETR 的 dc5 变体) |
base_args.aux_loss |
true |
是否使用解码器中间层辅助损失 |
base_args.set_cost_class / set_cost_bbox / set_cost_giou |
1. / 5. / 2. |
匈牙利匹配成本中分类 / L1 框 / GIoU 的权重 |
base_args.bbox_loss_coef / giou_loss_coef / attr_loss_coef |
5. / 2. / 1. |
框回归 / GIoU / 属性损失的损失权重 |
base_args.eos_coef |
0.1 |
no-object 类别的相对分类权重 |
base_args.share_decoders |
false |
是否所有数据集共享同一个解码器(对应 shared_dec / separate_dec 两组实验) |
base_args.residual_in_encoder |
true |
编码器输出是否叠加残差 |
base_args.use_task_embedding_in_img_encoder / in_lang_encoder |
false / false |
是否在图像 / 文本编码器中加入任务嵌入 |
base_args.attribute_class_num |
401 |
VG 属性类别数 |
base_args.max_attribute_num |
16 |
每个实例最多标注的属性数 |
max_task_num |
256 |
任务嵌入表的最大容量(对应 task_idx 上限) |
任务头(heads)配置
heads 为每个数据集声明其任务类型、任务索引与输出维度(同样定义在 defaults.yaml):
- detection:
detection_coco(task_idx: 0,91 类)、detection_visual_genome(task_idx: 1,1601 类且use_attr: true,即启用属性预测头); - vl:
vqa2(task_idx: 3,3129 个答案标签,loss_type: binary_cross_entropy_with_logits)、visual_entailment(task_idx: 9,3 类,交叉熵); - glue:
glue_qnli(task_idx: 5,2 类)、glue_mnli_mismatched(task_idx: 6,3 类)、glue_sst2(task_idx: 7,2 类)、glue_qqp(task_idx: 8,2 类),损失均为交叉熵。
task_idx 用于索引任务嵌入向量:图像编码器侧取 task_embeddings_enc.weight<a href="https://link.gitcode.com/i/6eae1148356be5369d48f3e1af6a9e00" target="_blank">task_idx] 拼到序列头部([transformer.py#L219-L236),文本编码器侧由 forward_bert_with_task_idx 拼接(unit.py#L169-L178),解码后会把该嵌入 token 从输出中剔除(mem_out_begin_idx)。
数据集与多任务采样配置
all_8_datasets/shared_dec.yaml 中除了模型配置,还包含三类关键设置:
- num_queries:每个数据集的解码器 query 数量——两个检测数据集各 100,VQAv2、SNLI-VE 与四个 GLUE 任务各 25。
UniTBaseModel会为每个数据集建一个nn.Embedding(num_queries, decoder_hidden_dim)作为该任务的 query(unit_base_model.py#L28-L35); - multitasking 采样比例:
detection_coco: 0.2、detection_visual_genome: 0.07、visual_entailment: 0.12、vqa2: 0.26、glue_qnli: 0.1、glue_mnli_mismatched: 0.1、glue_qqp: 0.1、glue_sst2: 0.05(对应 MMF 全局multitasking.type: ratios,见 mmf/configs/defaults.yaml#L399-L402); - 训练超参:
optimizer: adam_w(lr 5e-5、eps 1e-8、weight_decay 1e-4)、scheduler: warmup_cosine(2000 步预热)、batch_size: 64、梯度裁剪max_grad_l2_norm: 0.1、max_updates依配置规模从 15 万(单任务)到 50 万(8 数据集)不等,每 1 万步存一次 checkpoint 并评估一次。
另外,各数据集配置规定了输入处理方式:检测数据集使用 detr_image_and_target 处理器(mmf/datasets/processors/processors.py#L1727-L1763),训练时随机水平翻转与随机裁剪、测试时把短边缩放到 800 并限制长边不超过 1333;VQAv2 与 SNLI-VE 则使用 bert_tokenizer(max_seq_length: 25,小写化)+ torchvision_transforms 图像预处理(见 projects/unit/configs/vqa2_dataset_cfg.yaml 与 projects/unit/configs/visual_entailment_dataset_cfg.yaml),GLUE 各任务的文本长度上限为 128(mmf/configs/datasets/glue/defaults.yaml)。
评测指标配置
8 数据集配置中的 evaluation.metrics 声明了三类指标:vqa_accuracy(vqa2)、detection_mean_ap(两个检测数据集,其 val 标注 JSON 路径以 ${env.data_dir} 占位符动态指向本地数据目录)、accuracy(VE 与四个 GLUE 任务),与上文评测输出中的指标名一一对应。
模型动物园与权重加载
UniT 相关的预训练权重全部登记在 MMF 模型库中(mmf/configs/zoo/models.yaml#L499-L548):
| 模型库键 | 说明 | 单任务 COCO 检测 mAP(模型库注释) |
|---|---|---|
unit.coco.single_task |
COCO 单任务(含任务嵌入) | 0.4054 |
unit.coco.single_task_without_task_embedding |
COCO 单任务(无任务嵌入) | 0.4015 |
unit.all_8_datasets.shared_dec_with_coco_init |
8 数据集共享解码器(COCO 初始化) | 见上文评测结果 |
unit.all_8_datasets.shared_dec_with_coco_init_without_task_embedding |
8 数据集共享解码器(无任务嵌入) | 见上文评测结果 |
每个条目都带 version 与资源 hashcode(如 unit.all_8_datasets.shared_dec_with_coco_init 的 hashcode 为 63cd3a5c...),下载时会做校验。命令行通过 checkpoint.resume_zoo=<键名> 即可按名加载,这也是"从单任务模型初始化多任务训练"与"直接评测预训练模型"两条流程的底层机制。
注意事项与适用前提
- 硬件前提:官方训练配置面向 64 卡(8 节点 × 8 卡)Slurm 集群,单卡用户应降低
distributed.world_size与training.batch_size(评测命令已按单卡给出training.batch_size=1); - 数据自动下载:评测/训练命令会自动下载 8 个数据集及其依赖,耗时较长,请确保网络可达并预留磁盘空间;
use_attr与predict_attributes:默认predict_attributes: false,检测阶段不输出属性;若启用需同时保证数据集带属性标注(VG 的检测配置load_attributes: true,COCO 为false);- 任务嵌入开关:共享解码器模型默认开启
use_task_embedding_in_img_encoder与use_task_embedding_in_lang_encoder;若希望模型更容易扩展到新任务,可改用无任务嵌入配置(表内第 12/13 行); - 代码继承自 DETR:视觉基座、匈牙利匹配器、检测损失与 DETR 保持一致,理解 DETR 的 set prediction 机制有助于排查检测分支问题;
- 仓库为只读:上述命令均用于查看、安装、运行与配置,涉及权重与数据会自动下载到
env.data_dir指定的本地目录,无需修改仓库文件。