rgb_adapter与sparse_labeling_adapter完全解析:Hulk如何统一RGB图像与人体参数输入
rgb_adapter与sparse_labeling_adapter完全解析:Hulk如何统一RGB图像与人体参数输入
Hulk 是 OpenGVLab 推出的人体视觉多任务基础模型,而 rgb_adapter 与 sparse_labeling_adapter 正是它统一 RGB 图像 与 人体参数 两类输入的核心适配器。一个把像素图像"翻译"成 token,一个把 SMPL 参数、检测框这类离散点"翻译"成 token,二者汇入同一个 Transformer 解码器,让姿态、3D 人体、检测、解析等 24 个人体相关任务在同一个模型里联合训练。本文带你用一份配置文件,彻底看懂这套"多模态统一输入"的设计思路。
为什么需要两个 Adapter?🤔
多任务学习的难点在于:每个任务的输入和标注形态完全不同。
- RGB 图像:224×224 到 1344 像素不等的密集像素网格
- SMPL 人体参数:446 个离散坐标点(1 个平移 + 14 个身体部位 + 431 个关节)
- 检测框:867 个框,每个框用 2 个角点表示
- 骨架序列:17 个关节 × 175 帧
- 姿态热图 / 解析图:像素级密集标注
Hulk 的解法是:每种模态一个专用输入适配器(adapter),把不同形态的数据都编码为 768 维 token 序列,再通过共享的 decoder 统一建模。
在 Hulk_vit-B.yaml 的 common 段中,作者定义了模态共享组,用一组 24 长度的数字数组控制"哪些任务共享哪份 adapter 权重"(0 表示加入第 0 组共享,-1 表示该任务没有此模态):
| 共享组 | 含义 |
|---|---|
share_rgb_group |
RGB 图像侧 adapter 的权重共享 |
share_sparse_labeling_group |
稀疏标注侧 adapter 的权重共享 |
share_dense_labeling_group |
密集标注侧 adapter 的权重共享 |
share_text_group / share_video_group |
文本 / 视频侧 adapter |
24 个任务如何分工?🗂️
整份 Hulk_vit-B.yaml 定义了 24 个任务,每个任务由 patch_adapter(图像侧)+ label_adapter(标注侧)组成,可归纳为一张清晰的分工表:
| 任务 ID | 任务类型 | 数据集示例 | patch_adapter | label_adapter |
|---|---|---|---|---|
| 0 / 1 | 骨架动作识别 | NTU60/120、Kinetics400 | sparse_labeling_adapter_skaction |
text_adapter |
| 2 | 3D 人体(SMPL) | 3DPW、Human3.6M 等 | rgb_adapter |
sparse_labeling_adapter |
| 3 / 4 | 行人检测 | CrowdHuman、5set | rgb_adapter |
sparse_labeling_adapter |
| 5 / 6 | 行人属性 | RAP、LUPerson | rgb_adapter |
text_adapter |
| 7 | 图像描述 | CocoCaption | rgb_adapter |
text_adapter |
| 8–16 | 2D 姿态估计 | COCO、PoseTrack 等 9 个 | rgb_adapter |
dense_labeling_adapter |
| 17–23 | 人体解析 | LIP、CIHP 等 7 个 | rgb_adapter |
dense_labeling_adapter |
可以看到:任务 2–23 的图像侧全部由 rgb_adapter 负责,而 sparse_labeling_adapter 则出现在 SMPL、检测框这类"离散点"场景里——这正是标题所说"统一 RGB 图像与人体参数输入"的关键。
rgb_adapter 详解:把图像变成 token 🖼️
以最典型的 SMPL 任务为例,图像侧配置在 Hulk_vit-B.yaml#L579-L589:
patch_adapter:
type: rgb_adapter
kwargs:
pretrained: True
stride_level: 1
in_chans: 3 # RGB 三通道
use_abs_pos_emb: True
learnable_pos: False
test_pos_mode: False
img_size: [ 224, 224 ]
task_sp_list: [ 'pos_embed' ]
几个值得新手注意的设计点:
in_chans: 3:标准三通道图像输入。img_size因任务而异:姿态任务用<a href="https://link.gitcode.com/i/ba70ec6f639dac15dbc028e15894f2c6" target="_blank">256, 192]([L1641-L1650)、检测任务动态使用 1344(L757-L769)、解析任务用 480。task_sp_list: [ 'pos_embed' ]:位置编码是每个任务独享的参数(因为各任务分辨率不同),其余投影权重则通过share_rgb_group在所有 RGB 任务间共享——一次学习,处处复用。
sparse_labeling_adapter 详解:把人体参数变成 token 🦴
sparse_labeling_adapter 的核心思想:把任意离散几何结构统一抽象为 "num_joints × num_frames × in_chans" 的张量,再用 patch_size 把相邻点合并成 token,控制序列长度。
三个典型用法对比(配置分别见 L591-L609、L771-L791、L173-L196):
| 参数 | SMPL 任务(ID 2) | 检测任务(ID 3/4) | 骨架动作(ID 0/1,_skaction 变体) |
|---|---|---|---|
num_joints |
446(1+14+431) | 867(含随机 GT 框) | 17(COCO 17 关节) |
num_frames |
1(单帧) | 2(x1y1 与 x2y2 两角点) | 175(时间帧) |
in_chans |
3(XYZ 坐标) | 3(XYZ 坐标) | 3 |
patch_size |
[1, 1] |
[2, 1] |
[7, 2](每 token 合并 7 关节 × 2 帧) |
embed_dim |
768 | 768 | 768 |
joint_names |
— | — | coco_body_17joints |
这张表揭示了它的"通配"能力:
- 检测框 = 两个"关节":
num_frames: 2的注释直接写着# 2 for x1y1 and x2y2,把框的左下角、右上角当作两个点来建模(L776-L777); - SMPL = 446 个点:
num_joints: 446 # 1 + 14 + 431(L596),覆盖全身顶点与关节; - 骨架 = 时空网格:
patch_size: [7, 2]相当于在"关节维 × 时间维"上开窗口,把 17×175 的大网格压成可控的 token 序列,joint_with_text_embedding: True还允许文本语义嵌入参与。
配套的输出侧由 sparse_labeling_projector 完成,例如 SMPL 任务用 SMPL_LOSS_FASTMETRO 联合监督关节 3D、顶点、法向与 SMPL 参数(权重高达 1000.0);检测任务则走 MaskDetFocalDiceLoss(L623-L634)。
统一流程:Adapter → Neck → Decoder → Projector 🔗
每个任务内部的完整数据流是固定的四段式(以 SMPL 任务 为例):
- Adapter:
rgb_adapter处理图像,sparse_labeling_adapter处理 SMPL 参数,各自输出 768 维 token; - Neck:
MAEdecoder_proj_neck按modality: rgb / sparse_labeling分别投影到 256 维(L567-L577); - Decoder:所有任务共用
UniHCPv2_Head(predictor: 'hulk'),连mask_token都在模态组间共享(L669-L705); - Projector:
rgb_projector负责像素级重建(MaskedMSELoss),sparse_labeling_projector负责人体参数预测。
精细粒度的共享靠两个开关控制:
modality_share_list:同一模态组内共享的子模块,如 SMPL 任务共享pos_embed、text_embedding、proj_kernel、proj(L606-L609);task_sp_list:任务独享的参数,如检测任务独享predictor.anchor(L851-L856)。
💡 配置里反复出现的注释
# wrong list would somehow cause .cuda() stuck without error是实战经验:这两个列表填错不会报错,但模型会"卡死"在.cuda()上——修改配置时务必逐项核对。
训练与预训练权重一览 📦
整个多任务训练由 SolverMAEDev 驱动,采用 Adafactor 优化器、Cosine 学习率调度、max_iter: 60000(L37-L72),骨干网络为 vit_base_patch16_mask(ViT-B 级)。各任务通过 gres_ratio 分配 GPU 资源(如检测任务占 20 份、SMPL 占 3 份)。
仓库 Pretrain/ 目录提供了各任务的最新预训练权重,可与配置一一对应:
- Hulk_vit-B.yaml:完整训练配置
- ckpt_task2_iter_newest.pth.tar:SMPL 任务权重
- ckpt_task0_iter_newest.pth.tar:骨架动作任务权重
- ckpt_task4_iter_newest.pth.tar:行人检测任务权重
- ckpt_task17_iter_newest.pth.tar:人体解析任务权重
总结:三个关键认知 ✅
- Adapter 是"模态翻译器":
rgb_adapter管图像,sparse_labeling_adapter管离散几何(关节、框角点、SMPL 参数),把万物翻译成 768 维 token; - 稀疏 vs 密集:
sparse_labeling处理"点"(SMPL、检测),dense_labeling_adapter处理"像素面"(热图、解析图),二者与rgb_adapter一起构成 Hulk 的完整模态家族; - 共享是精调过的:从
share_*_group的整组共享,到modality_share_list/task_sp_list的子模块级开关,Hulk 在"任务差异"与"知识复用"之间找到了平衡——这也是单一模型能同时做 24 个人体任务的根本原因。
想动手验证?从 Pretrain/Hulk_vit-B.yaml 的 SMPL 任务读起,对照 rgb_adapter 与 sparse_labeling_adapter 两段配置,是最快建立整体认知的一条路径。