Hulk是什么?一文读懂OpenGVLab统一人体理解模型的完整指南
Hulk是什么?一文读懂OpenGVLab统一人体理解模型的完整指南
Hulk 是 OpenGVLab 开源的统一人体理解模型:一个模型同时搞定人体姿态估计、人体解析、3D 人体恢复、行人检测、属性识别、图像描述和骨架动作识别等 7 大类人体视觉任务。本文基于公开的训练配置 Hulk_vit-B.yaml 与预训练权重,帮新手快速搞懂 Hulk 的能力矩阵、架构设计与训练方法 🚀
🤔 为什么需要"统一"人体理解模型?
传统做法是"一个任务一个模型":做姿态估计训练一个模型、做人像解析再训练一个、做 3D 人体又单独训练一个……模型多、数据难复用、能力之间无法互相促进。
Hulk 的思路完全不同:共享一个 ViT-B 主干网络,用统一的 Transformer 解码器同时训练 24 个具体任务,让检测、姿态、解析等能力在同一个表征空间中相互增益,真正做到"一模型多任务"。
📦 Hulk 能力矩阵:一个模型覆盖 7 大任务族
从配置文件头部的任务注释 Hulk_vit-B.yaml#L1-L12 可以看到完整清单:
| 任务族 | 任务编号 | 使用数据集(示例) |
|---|---|---|
| 骨架动作识别 | 0、1 | NTU RGB+D、Kinetics-400、Diving48 |
| 3D 人体(SMPL) | 2 | 3DPW、Human3.6M、MUCO、MPII、GTA-Human |
| 行人检测 | 3、4 | CrowdHuman、CityPersons、WIDER Person 等 6 套 |
| 属性识别 | 5、6 | Market、LUPerson 等 |
| 图像描述 | 7 | 图文联合数据集 |
| 姿态估计 | 8~16 | COCO、AIC、PoseTrack、MHP、MPII 等 9 套 |
| 人体解析 | 17~23 | LIP、CIHP、DeepFashion、PaperDoll 等 7 套 |
🔍 仓库结构速览
仓库当前提供的是预训练(Pretrain)物料,结构非常精简:
Pretrain/
├── Hulk_vit-B.yaml # ViT-B 统一预训练总配置(24 个任务)
└── ckpt_task*_iter_newest.pth.tar # 10 个任务的最新检查点
如需获取仓库,执行:
git clone https://gitcode.com/OpenGVLab/Hulk
已开放检查点的任务覆盖每个任务族,包括:ckpt_task0_iter_newest.pth.tar(骨架动作)、ckpt_task2_iter_newest.pth.tar(SMPL 3D 人体)、ckpt_task8_iter_newest.pth.tar(COCO 姿态)等。
🏗️ 架构设计:读懂 Hulk 的三层结构
1️⃣ 共享 ViT-B 主干
所有 24 个任务共用同一个 vit_base_patch16_mask(ViT-Base、16×16 分块、支持 Masked Autoencoder)骨干网络,并以 ImageNet 权重初始化(Hulk_vit-B.yaml#L96-L107)。统一训练入口为 aio_entry_v2mae_shareneck,即"All-in-One + MAE + 共享 Neck"(Hulk_vit-B.yaml#L37-L40)。
2️⃣ 模态适配器(Adapter)
不同任务的输入形态差异很大——RGB 图像、2D 关键点、边界框、SMPL 关节点、文本。Hulk 为每种模态设计了专门的 Adapter(如 rgb_adapter、sparse_labeling_adapter、text_adapter),把各类输入统一"翻译"成主干能理解的 token 序列(Hulk_vit-B.yaml#L16-L34 中的 share_*_group 定义了各模态的参数共享策略)。
3️⃣ 统一 MAE 解码器
任务输出口采用统一的 UniHCPv2_Head 解码器:内部是 9 层、hidden_dim=256 的 Transformer,predictor 指定为 hulk、任务模式为 recons(重建式预测),各任务只替换自己专属的投影头,其余部分全部共享(Hulk_vit-B.yaml#L269-L283)。
🚀 训练方法:24 个任务如何联合训练?
- 任务级 GPU 配额:每个任务用
gres_ratio声明自己占用的 GPU 份额,计算量大的检测任务拿 8~20 份,SMPL 拿 3 份,骨架动作拿 1~2 份(Hulk_vit-B.yaml#L889-L892),实现细粒度的多任务资源调度。 - 优化器:Adafactor + Cosine 学习率调度,基础学习率 1e-5,warmup 1500 步,并对 12 层主干采用 0.75 的 layer decay(Hulk_vit-B.yaml#L43-L67)。
- 训练规模:总迭代 60000 步,每 10000 步保存一次检查点(Hulk_vit-B.yaml#L72-L82),随机种子固定为 233 保证可复现。
- 数据路径:配置中数据集路径为占位符(
/mnt/path...to...),实际使用需自行准备 COCO、CrowdHuman、LIP 等公开数据集。
💡 Hulk 适合谁?
- 研究者:研究多任务统一表征、模态对齐、MAE 类人体预训练;
- 应用开发者:需要在行人分析、虚拟试衣、动作识别等场景中获得多个人体理解能力,而不想维护一堆独立模型;
- 初学者:想学习"一个 backbone + 多 Adapter + 共享解码器"这一经典统一架构是如何落到配置层面的。
❓ 常见问题
Q:检查点有多大?
A:每个 .pth.tar 约 790MB,仓库内为 Git LFS 指针文件,拉取时需要 LFS 环境。
Q:可以小规模复现训练吗? A:该配置面向多机多卡集群(单任务 batch 最高 165/card,检测任务占 20 份 GPU),个人设备建议先阅读配置理解结构,再考虑缩小任务子集做实验。
Q:仓库包含推理代码吗? A:当前仓库以预训练配置和权重为主,推理与下游微调能力请以仓库后续更新为准。
✅ 总结
Hulk 展示了统一人体理解模型的完整落地方案:共享 ViT-B 主干 + 模态 Adapter + 统一 MAE 解码器,通过 24 个任务的联合训练,让一个模型同时具备姿态、解析、3D 人体、检测、属性、描述与动作理解能力。如果你想从配置层面学习多任务统一训练的设计细节,Hulk_vit-B.yaml 本身就是一份极佳的学习材料。