rgb_adapter与sparse_labeling_adapter完全解析:Hulk如何统一RGB图像与人体参数输入

原创2026-10-20 09:51:451,425 阅读

rgb_adapter与sparse_labeling_adapter完全解析:Hulk如何统一RGB图像与人体参数输入

Hulk 是 OpenGVLab 推出的人体视觉多任务基础模型,而 rgb_adapter 与 sparse_labeling_adapter 正是它统一 RGB 图像 与 人体参数 两类输入的核心适配器。一个把像素图像"翻译"成 token,一个把 SMPL 参数、检测框这类离散点"翻译"成 token,二者汇入同一个 Transformer 解码器,让姿态、3D 人体、检测、解析等 24 个人体相关任务在同一个模型里联合训练。本文带你用一份配置文件,彻底看懂这套"多模态统一输入"的设计思路。

为什么需要两个 Adapter?🤔

多任务学习的难点在于:每个任务的输入和标注形态完全不同。

  • RGB 图像:224×224 到 1344 像素不等的密集像素网格
  • SMPL 人体参数:446 个离散坐标点(1 个平移 + 14 个身体部位 + 431 个关节)
  • 检测框:867 个框,每个框用 2 个角点表示
  • 骨架序列:17 个关节 × 175 帧
  • 姿态热图 / 解析图:像素级密集标注

Hulk 的解法是:每种模态一个专用输入适配器(adapter),把不同形态的数据都编码为 768 维 token 序列,再通过共享的 decoder 统一建模。

在 Hulk_vit-B.yaml 的 common 段中,作者定义了模态共享组,用一组 24 长度的数字数组控制"哪些任务共享哪份 adapter 权重"(0 表示加入第 0 组共享,-1 表示该任务没有此模态):

共享组 含义
share_rgb_group RGB 图像侧 adapter 的权重共享
share_sparse_labeling_group 稀疏标注侧 adapter 的权重共享
share_dense_labeling_group 密集标注侧 adapter 的权重共享
share_text_group / share_video_group 文本 / 视频侧 adapter

24 个任务如何分工?🗂️

整份 Hulk_vit-B.yaml 定义了 24 个任务,每个任务由 patch_adapter(图像侧)+ label_adapter(标注侧)组成,可归纳为一张清晰的分工表:

任务 ID 任务类型 数据集示例 patch_adapter label_adapter
0 / 1 骨架动作识别 NTU60/120、Kinetics400 sparse_labeling_adapter_skaction text_adapter
2 3D 人体(SMPL) 3DPW、Human3.6M 等 rgb_adapter sparse_labeling_adapter
3 / 4 行人检测 CrowdHuman、5set rgb_adapter sparse_labeling_adapter
5 / 6 行人属性 RAP、LUPerson rgb_adapter text_adapter
7 图像描述 CocoCaption rgb_adapter text_adapter
8–16 2D 姿态估计 COCO、PoseTrack 等 9 个 rgb_adapter dense_labeling_adapter
17–23 人体解析 LIP、CIHP 等 7 个 rgb_adapter dense_labeling_adapter

可以看到:任务 2–23 的图像侧全部由 rgb_adapter 负责,而 sparse_labeling_adapter 则出现在 SMPL、检测框这类"离散点"场景里——这正是标题所说"统一 RGB 图像与人体参数输入"的关键。

rgb_adapter 详解:把图像变成 token 🖼️

以最典型的 SMPL 任务为例,图像侧配置在 Hulk_vit-B.yaml#L579-L589:

patch_adapter:
  type: rgb_adapter
  kwargs:
    pretrained: True
    stride_level: 1
    in_chans: 3          # RGB 三通道
    use_abs_pos_emb: True
    learnable_pos: False
    test_pos_mode: False
    img_size: [ 224, 224 ]
    task_sp_list: [ 'pos_embed' ]

几个值得新手注意的设计点:

  1. in_chans: 3:标准三通道图像输入。
  2. img_size 因任务而异:姿态任务用 <a href="https://link.gitcode.com/i/ba70ec6f639dac15dbc028e15894f2c6" target="_blank">256, 192]([L1641-L1650)、检测任务动态使用 1344(L757-L769)、解析任务用 480。
  3. task_sp_list: [ 'pos_embed' ]:位置编码是每个任务独享的参数(因为各任务分辨率不同),其余投影权重则通过 share_rgb_group 在所有 RGB 任务间共享——一次学习,处处复用。

sparse_labeling_adapter 详解:把人体参数变成 token 🦴

sparse_labeling_adapter 的核心思想:把任意离散几何结构统一抽象为 "num_joints × num_frames × in_chans" 的张量,再用 patch_size 把相邻点合并成 token,控制序列长度。

三个典型用法对比(配置分别见 L591-L609、L771-L791、L173-L196):

参数 SMPL 任务(ID 2) 检测任务(ID 3/4) 骨架动作(ID 0/1,_skaction 变体)
num_joints 446(1+14+431) 867(含随机 GT 框) 17(COCO 17 关节)
num_frames 1(单帧) 2(x1y1 与 x2y2 两角点) 175(时间帧)
in_chans 3(XYZ 坐标) 3(XYZ 坐标) 3
patch_size [1, 1] [2, 1] [7, 2](每 token 合并 7 关节 × 2 帧)
embed_dim 768 768 768
joint_names — — coco_body_17joints

这张表揭示了它的"通配"能力:

  • 检测框 = 两个"关节":num_frames: 2 的注释直接写着 # 2 for x1y1 and x2y2,把框的左下角、右上角当作两个点来建模(L776-L777);
  • SMPL = 446 个点:num_joints: 446 # 1 + 14 + 431(L596),覆盖全身顶点与关节;
  • 骨架 = 时空网格:patch_size: [7, 2] 相当于在"关节维 × 时间维"上开窗口,把 17×175 的大网格压成可控的 token 序列,joint_with_text_embedding: True 还允许文本语义嵌入参与。

配套的输出侧由 sparse_labeling_projector 完成,例如 SMPL 任务用 SMPL_LOSS_FASTMETRO 联合监督关节 3D、顶点、法向与 SMPL 参数(权重高达 1000.0);检测任务则走 MaskDetFocalDiceLoss(L623-L634)。

统一流程:Adapter → Neck → Decoder → Projector 🔗

每个任务内部的完整数据流是固定的四段式(以 SMPL 任务 为例):

  1. Adapter:rgb_adapter 处理图像,sparse_labeling_adapter 处理 SMPL 参数,各自输出 768 维 token;
  2. Neck:MAEdecoder_proj_neck 按 modality: rgb / sparse_labeling 分别投影到 256 维(L567-L577);
  3. Decoder:所有任务共用 UniHCPv2_Head(predictor: 'hulk'),连 mask_token 都在模态组间共享(L669-L705);
  4. Projector:rgb_projector 负责像素级重建(MaskedMSELoss),sparse_labeling_projector 负责人体参数预测。

精细粒度的共享靠两个开关控制:

  • modality_share_list:同一模态组内共享的子模块,如 SMPL 任务共享 pos_embed、text_embedding、proj_kernel、proj(L606-L609);
  • task_sp_list:任务独享的参数,如检测任务独享 predictor.anchor(L851-L856)。

💡 配置里反复出现的注释 # wrong list would somehow cause .cuda() stuck without error 是实战经验:这两个列表填错不会报错,但模型会"卡死"在 .cuda() 上——修改配置时务必逐项核对。

训练与预训练权重一览 📦

整个多任务训练由 SolverMAEDev 驱动,采用 Adafactor 优化器、Cosine 学习率调度、max_iter: 60000(L37-L72),骨干网络为 vit_base_patch16_mask(ViT-B 级)。各任务通过 gres_ratio 分配 GPU 资源(如检测任务占 20 份、SMPL 占 3 份)。

仓库 Pretrain/ 目录提供了各任务的最新预训练权重,可与配置一一对应:

总结:三个关键认知 ✅

  1. Adapter 是"模态翻译器":rgb_adapter 管图像,sparse_labeling_adapter 管离散几何(关节、框角点、SMPL 参数),把万物翻译成 768 维 token;
  2. 稀疏 vs 密集:sparse_labeling 处理"点"(SMPL、检测),dense_labeling_adapter 处理"像素面"(热图、解析图),二者与 rgb_adapter 一起构成 Hulk 的完整模态家族;
  3. 共享是精调过的:从 share_*_group 的整组共享,到 modality_share_list / task_sp_list 的子模块级开关,Hulk 在"任务差异"与"知识复用"之间找到了平衡——这也是单一模型能同时做 24 个人体任务的根本原因。

想动手验证?从 Pretrain/Hulk_vit-B.yaml 的 SMPL 任务读起,对照 rgb_adapter 与 sparse_labeling_adapter 两段配置,是最快建立整体认知的一条路径。

登录后查看全文
Hulk