Hulk是什么?一文读懂OpenGVLab统一人体理解模型的完整指南

原创2026-10-19 11:15:131,988 阅读

Hulk是什么?一文读懂OpenGVLab统一人体理解模型的完整指南

Hulk 是 OpenGVLab 开源的统一人体理解模型:一个模型同时搞定人体姿态估计、人体解析、3D 人体恢复、行人检测、属性识别、图像描述和骨架动作识别等 7 大类人体视觉任务。本文基于公开的训练配置 Hulk_vit-B.yaml 与预训练权重,帮新手快速搞懂 Hulk 的能力矩阵、架构设计与训练方法 🚀

🤔 为什么需要"统一"人体理解模型?

传统做法是"一个任务一个模型":做姿态估计训练一个模型、做人像解析再训练一个、做 3D 人体又单独训练一个……模型多、数据难复用、能力之间无法互相促进。

Hulk 的思路完全不同:共享一个 ViT-B 主干网络,用统一的 Transformer 解码器同时训练 24 个具体任务,让检测、姿态、解析等能力在同一个表征空间中相互增益,真正做到"一模型多任务"。

📦 Hulk 能力矩阵:一个模型覆盖 7 大任务族

从配置文件头部的任务注释 Hulk_vit-B.yaml#L1-L12 可以看到完整清单:

任务族 任务编号 使用数据集(示例)
骨架动作识别 0、1 NTU RGB+D、Kinetics-400、Diving48
3D 人体(SMPL) 2 3DPW、Human3.6M、MUCO、MPII、GTA-Human
行人检测 3、4 CrowdHuman、CityPersons、WIDER Person 等 6 套
属性识别 5、6 Market、LUPerson 等
图像描述 7 图文联合数据集
姿态估计 8~16 COCO、AIC、PoseTrack、MHP、MPII 等 9 套
人体解析 17~23 LIP、CIHP、DeepFashion、PaperDoll 等 7 套

🔍 仓库结构速览

仓库当前提供的是预训练(Pretrain)物料,结构非常精简:

Pretrain/
├── Hulk_vit-B.yaml          # ViT-B 统一预训练总配置(24 个任务)
└── ckpt_task*_iter_newest.pth.tar   # 10 个任务的最新检查点

如需获取仓库,执行:

git clone https://gitcode.com/OpenGVLab/Hulk

已开放检查点的任务覆盖每个任务族,包括:ckpt_task0_iter_newest.pth.tar(骨架动作)、ckpt_task2_iter_newest.pth.tar(SMPL 3D 人体)、ckpt_task8_iter_newest.pth.tar(COCO 姿态)等。

🏗️ 架构设计:读懂 Hulk 的三层结构

1️⃣ 共享 ViT-B 主干

所有 24 个任务共用同一个 vit_base_patch16_mask(ViT-Base、16×16 分块、支持 Masked Autoencoder)骨干网络,并以 ImageNet 权重初始化(Hulk_vit-B.yaml#L96-L107)。统一训练入口为 aio_entry_v2mae_shareneck,即"All-in-One + MAE + 共享 Neck"(Hulk_vit-B.yaml#L37-L40)。

2️⃣ 模态适配器(Adapter)

不同任务的输入形态差异很大——RGB 图像、2D 关键点、边界框、SMPL 关节点、文本。Hulk 为每种模态设计了专门的 Adapter(如 rgb_adapter、sparse_labeling_adapter、text_adapter),把各类输入统一"翻译"成主干能理解的 token 序列(Hulk_vit-B.yaml#L16-L34 中的 share_*_group 定义了各模态的参数共享策略)。

3️⃣ 统一 MAE 解码器

任务输出口采用统一的 UniHCPv2_Head 解码器:内部是 9 层、hidden_dim=256 的 Transformer,predictor 指定为 hulk、任务模式为 recons(重建式预测),各任务只替换自己专属的投影头,其余部分全部共享(Hulk_vit-B.yaml#L269-L283)。

🚀 训练方法:24 个任务如何联合训练?

  • 任务级 GPU 配额:每个任务用 gres_ratio 声明自己占用的 GPU 份额,计算量大的检测任务拿 8~20 份,SMPL 拿 3 份,骨架动作拿 1~2 份(Hulk_vit-B.yaml#L889-L892),实现细粒度的多任务资源调度。
  • 优化器:Adafactor + Cosine 学习率调度,基础学习率 1e-5,warmup 1500 步,并对 12 层主干采用 0.75 的 layer decay(Hulk_vit-B.yaml#L43-L67)。
  • 训练规模:总迭代 60000 步,每 10000 步保存一次检查点(Hulk_vit-B.yaml#L72-L82),随机种子固定为 233 保证可复现。
  • 数据路径:配置中数据集路径为占位符(/mnt/path...to...),实际使用需自行准备 COCO、CrowdHuman、LIP 等公开数据集。

💡 Hulk 适合谁?

  • 研究者:研究多任务统一表征、模态对齐、MAE 类人体预训练;
  • 应用开发者:需要在行人分析、虚拟试衣、动作识别等场景中获得多个人体理解能力,而不想维护一堆独立模型;
  • 初学者:想学习"一个 backbone + 多 Adapter + 共享解码器"这一经典统一架构是如何落到配置层面的。

❓ 常见问题

Q:检查点有多大? A:每个 .pth.tar 约 790MB,仓库内为 Git LFS 指针文件,拉取时需要 LFS 环境。

Q:可以小规模复现训练吗? A:该配置面向多机多卡集群(单任务 batch 最高 165/card,检测任务占 20 份 GPU),个人设备建议先阅读配置理解结构,再考虑缩小任务子集做实验。

Q:仓库包含推理代码吗? A:当前仓库以预训练配置和权重为主,推理与下游微调能力请以仓库后续更新为准。

✅ 总结

Hulk 展示了统一人体理解模型的完整落地方案:共享 ViT-B 主干 + 模态 Adapter + 统一 MAE 解码器,通过 24 个任务的联合训练,让一个模型同时具备姿态、解析、3D 人体、检测、属性、描述与动作理解能力。如果你想从配置层面学习多任务统一训练的设计细节,Hulk_vit-B.yaml 本身就是一份极佳的学习材料。

登录后查看全文
Hulk