ViTPose 仓库 MHP 人体姿态估计实战:ResNet 简单基线(SimpleBaseline2D)配置、训练与评测全解析
ViTPose 仓库 MHP 人体姿态估计实战:ResNet 简单基线(SimpleBaseline2D)配置、训练与评测全解析
导读
本文以 ViTPose 仓库中 MHP 人体姿态估计模型结果页 为核心,系统讲解在 MHP v2.0(Multi-Human Parsing)数据集上,以 ResNet-50 为骨干网络、采用 SimpleBaseline2D 思路的 top-down 热图姿态估计方案的完整落地流程。读完本文,你将掌握该模型的实验指标解读、配置文件中每个关键参数的语义、MHP 数据集准备方法,以及基于 tools/train.py 与 tools/test.py 的训练、分布式训练与评估命令,并能理解底层 TopDownMhpDataset 数据集实现与 mAP 评测口径的细节。
一、模型与数据集背景
1.1 算法组件:SimpleBaseline2D + ResNet
该结果页明确标注了三个核心组件来源(见 resnet_mhp.md):
- SimpleBaseline2D(ECCV'2018):Bin Xiao 等人提出的“人体姿态估计与追踪的简单基线”,其核心观点是仅用少量反卷积层(deconv)配合分类骨干网络即可达到媲美复杂结构的效果,是 top-down 热图方法的代表性工作。
- ResNet(CVPR'2016):Kaiming He 等人的深度残差网络,此处作为特征提取骨干,具体使用 depth=50 的 ResNet-50,权重由
torchvision://resnet50预训练初始化。 - MHP(ACM MM'2018):Zhao Jian 等人提出的多人体解析基准(Multi-Human Parsing),关注拥挤场景下对多人的理解。
三篇论文的 BibTeX 引用均可直接在结果页中复制,用于论文引用:
@inproceedings{xiao2018simple,
title={Simple baselines for human pose estimation and tracking},
author={Xiao, Bin and Wu, Haiping and Wei, Yichen},
booktitle={Proceedings of the European conference on computer vision (ECCV)},
pages={466--481},
year={2018}
}
@inproceedings{he2016deep,
title={Deep residual learning for image recognition},
author={He, Kaiming and Zhang, Xiangyu and Ren, Shaoqing and Sun, Jian},
booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition},
pages={770--778},
year={2016}
}
@inproceedings{zhao2018understanding,
title={Understanding humans in crowded scenes: Deep nested adversarial learning and a new benchmark for multi-human parsing},
author={Zhao, Jian and Li, Jianshu and Cheng, Yu and Sim, Terence and Yan, Shuicheng and Feng, Jiashi},
booktitle={Proceedings of the 26th ACM international conference on Multimedia},
pages={792--800},
year={2018}
}
1.2 MHP 关键点定义
MHP 数据集采用 16 个关键点的定义(与 COCO 的 17 点略有差异),定义在 configs/base/datasets/mhp.py 中:
| 索引 | 关键点名称 | 部位类型 | 对称配对(swap) |
|---|---|---|---|
| 0 | right_ankle | lower | left_ankle |
| 1 | right_knee | lower | left_knee |
| 2 | right_hip | lower | left_hip |
| 3 | left_hip | lower | right_hip |
| 4 | left_knee | lower | right_knee |
| 5 | left_ankle | lower | right_ankle |
| 6 | pelvis | lower | — |
| 7 | thorax | upper | — |
| 8 | upper_neck | upper | — |
| 9 | head_top | upper | — |
| 10 | right_wrist | upper | left_wrist |
| 11 | right_elbow | upper | left_elbow |
| 12 | right_shoulder | upper | left_shoulder |
| 13 | left_shoulder | upper | right_shoulder |
| 14 | left_elbow | upper | right_elbow |
| 15 | left_wrist | upper | right_wrist |
该文件还定义了 15 条骨架连接(skeleton_info)、每个关节的 joint_weights(四肢末端权重更高,如脚踝 1.5、膝盖 1.2)以及用于 OKS 计算的 sigmas(从 COCO 适配而来,如脚踝 0.089、手腕 0.062 等),这些参数直接影响热图回归损失与评测打分。
二、MHP v2.0 验证集实验结果
原结果页给出了在 MHP v2.0 val 集上的完整指标(模型名虽标注为 pose_resnet_101,实际对应配置为 res50_mhp_256x192.py,即 ResNet-50):
| Arch | Input Size | AP | AP50 | AP75 | AR | AR50 | ckpt | log |
|---|---|---|---|---|---|---|---|---|
| pose_resnet_101 | 256x192 | 0.583 | 0.897 | 0.669 | 0.636 | 0.918 | ckpt | log |
注意:此处的评测指标为从 COCO 适配而来的 mAP(使用 COCO 风格的关键点评测协议),可能与 MHP 官方评测代码的结果不同。若在论文中使用该结果,请务必谨慎并注明评测口径(原文档已明确提示)。
对应地,模型注册信息(Architecture、Training Data、各指标)也记录在 resnet_mhp.yml 中,作为模型索引(model-index)供自动汇总使用。
三、核心配置文件逐项解读
完整配置见 res50_mhp_256x192.py,其通过 _base_ 机制继承 default_runtime.py 与 mhp.py。
3.1 优化器与学习率调度
optimizer = dict(
type='Adam',
lr=5e-4,
)
optimizer_config = dict(grad_clip=None)
# learning policy
lr_config = dict(
policy='step',
warmup='linear',
warmup_iters=500,
warmup_ratio=0.001,
step=[170, 200])
total_epochs = 210
- 优化器使用 Adam,初始学习率 5e-4,不做梯度裁剪(
grad_clip=None)。 - 学习率采用 step 衰减策略:前 500 个 iteration 线性 warmup(warmup 初始比例 0.001),在第 170 与第 200 epoch 各衰减一次,共训练 210 epochs。
- 使用
tools/train.py的--autoscale-lr参数时,学习率会按 GPU 数量线性缩放(lr * len(gpu_ids) / 8),详见 tools/train.py。
3.2 模型结构与通道配置
channel_cfg = dict(
num_output_channels=16,
dataset_joints=16,
dataset_channel=[[0, 1, ..., 15]],
inference_channel=[0, 1, ..., 15])
model = dict(
type='TopDown',
pretrained='torchvision://resnet50',
backbone=dict(type='ResNet', depth=50),
keypoint_head=dict(
type='TopdownHeatmapSimpleHead',
in_channels=2048,
out_channels=channel_cfg['num_output_channels'],
loss_keypoint=dict(type='JointsMSELoss', use_target_weight=True)),
train_cfg=dict(),
test_cfg=dict(
flip_test=True,
post_process='default',
shift_heatmap=True,
modulate_kernel=11))
- 检测器类型为
TopDown(top-down 两阶段范式:先检测人体框,再对每个框估计关键点)。 - 骨干为 ResNet-50,输入特征通道 2048,送入
TopdownHeatmapSimpleHead。 TopdownHeatmapSimpleHead(实现在 topdown_heatmap_simple_head.py)默认由 3 层反卷积(每层 256 通道、kernel 4、stride 2)+ 1x1 卷积 组成:将 2048 通道的骨干特征上采样 8 倍并投影到 16 通道热图(48x64),每个通道对应一个关节。- 损失函数
JointsMSELoss(mse_loss.py)为加权 MSE:use_target_weight=True时按target_weight逐关节加权,即上文joint_weights生效。 - 推理侧开启
flip_test(水平翻转测试融合)、shift_heatmap(翻转热图平移修正)与modulate_kernel=11(关键点后处理调制核),可参考 top_down_eval.py 理解其实现。
3.3 数据配置与预处理管道
data_cfg = dict(
image_size=[192, 256],
heatmap_size=[48, 64],
num_output_channels=16,
num_joints=16,
soft_nms=False,
nms_thr=1.0,
oks_thr=0.9,
vis_thr=0.2,
bbox_thr=1.0,
use_gt_bbox=True,
image_thr=0.0,
bbox_file='',
)
- 输入图像裁剪为 192x256,对应热图尺寸 48x64(1/4 分辨率)。
use_gt_bbox=True:训练与验证阶段使用数据集中提供的人体框标注(Ground Truth bbox),无需外部检测器。这对 MHP 数据集是强制的——TopDownMhpDataset._get_db中assert self.use_gt_bbox会直接断言,见 topdown_mhp_dataset.py。
训练管道(train_pipeline)依次包含:图像加载 → 随机水平翻转(0.5 概率)→ 半身变换(半身关键点≥8 时以 0.3 概率只取半身)→ 随机旋转/缩放(rot_factor=40, scale_factor=0.5)→ 仿射变换 → Tensor 化与 ImageNet 归一化 → 生成高斯热图目标(sigma=2)→ Collect。验证/测试管道则只做仿射变换与归一化,不做数据增强。
3.4 数据组织
data_root = 'data/mhp'
data = dict(
samples_per_gpu=64,
workers_per_gpu=2,
train=dict(type='TopDownMhpDataset',
ann_file=f'{data_root}/annotations/mhp_train.json',
img_prefix=f'{data_root}/train/images/', ...),
val=dict(... ann_file='.../mhp_val.json', img_prefix='.../val/images/', ...),
test=dict(... ann_file='.../mhp_val.json', ...),
)
训练 batch size 为每 GPU 64,验证/测试为每 GPU 32。评估配置 evaluation = dict(interval=10, metric='mAP', save_best='AP') 表示每 10 个 epoch 在验证集上评估一次并保存最优 AP 权重。
四、MHP 数据集准备
按照 docs/zh_cn/tasks/2d_body_keypoint.md 中的说明,从 MHP 官方主页下载数据文件,并从 openmmlab 提供的链接下载转换后的标注文件,放置于 data 目录并整理为如下结构:
mmpose
├── mmpose
├── docs
├── tests
├── tools
├── configs
`── data
│── mhp
│-- annotations
│ │-- mhp_train.json
│ │-- mhp_val.json
│
`-- train
│ │-- images
│ │ │-- 1004.jpg
│ │ │-- 10050.jpg
│ │ │-- ...
│
`-- val
│ │-- images
│ │ │-- 10059.jpg
│ │ │-- 10068.jpg
│ │ │-- ...
标注文件采用 COCO 风格 JSON 格式,因此数据集类可直接复用 COCO 的加载逻辑(见下文源码剖析)。
五、训练与评估命令
5.1 单卡训练
python tools/train.py configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/mhp/res50_mhp_256x192.py
常用可选参数:
--work-dir:指定日志与权重保存目录(默认./work_dirs/res50_mhp_256x192)。--no-validate:训练过程中不进行评估。--gpu-id:指定使用的 GPU 编号(默认 0)。--seed/--deterministic:设置随机种子与 CUDNN 确定性。--cfg-options:临时覆盖配置,例如--cfg-options model.backbone.depth=18。--autoscale-lr:按 GPU 数线性缩放学习率。
5.2 多卡分布式训练
bash tools/dist_train.sh configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/mhp/res50_mhp_256x192.py 8
该脚本通过 torch.distributed.launch 启动 --nproc_per_node=$GPUS 个进程,并以 --launcher pytorch 进入分布式模式;PORT 环境变量可指定通信端口(默认 29500)。
5.3 测试与评估
python tools/test.py configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/mhp/res50_mhp_256x192.py \
/path/to/res50_mhp_256x192-28c5b818_20201229.pth --eval mAP
--eval mAP:指定评估指标,MHP 采用 COCO 风格的mAP。--out:将预测结果保存为文件。--fuse-conv-bn:融合卷积与 BN 层以略微提升推理速度。- 测试流程(tools/test.py)会先将
cfg.data.test.test_mode置为 True、加载权重、构建数据加载器,最后调用dataset.evaluate(outputs, ...)输出各指标。
六、源码级实现剖析
6.1 TopDownMhpDataset:复用 COCO 协议的 MHP 数据集
类实现在 topdown_mhp_dataset.py,并通过 top_down/init.py 注册:
@DATASETS.register_module()
class TopDownMhpDataset(TopDownCocoDataset):
关键实现事实:
- 直接继承
TopDownCocoDataset,因为 MHP 标注为 COCO 风格 JSON,可直接复用_load_coco_keypoint_annotations等加载逻辑。 _get_db中 强制assert self.use_gt_bbox,即 MHP 实验一律使用 GT 人体框,这与配置中use_gt_bbox=True对应;配置文件中的image_thr已被标记 deprecated,建议改用det_bbox_thr。- 评测使用
xtcocotools.cocoeval.COCOeval,并以use_area=False调用(对姿态任务不按面积加权),依次执行evaluate() → accumulate() → summarize(),输出 AP、AP.5、AP.75、AP(M)、AP(L)、AR 等 10 项统计量——这正是结果表中 mAP 系列指标的来源。
6.2 测试用例验证
仓库在 tests/test_datasets/test_top_down_dataset.py 中提供了 test_top_down_MHP_dataset 测试:使用 tests/data/mhp/test_mhp.json 与 tests/data/mhp/ 图片目录构造数据集,断言 dataset_name == 'mhp'、use_gt_bbox=False 时会触发 AssertionError,且对构造的预测结果评估 mAP 应为 1.0(完美预测)。这一测试同时验证了"仅支持 GT bbox"与"mAP 评测"两条关键约束。
6.3 损失与头部实现
JointsMSELoss(mse_loss.py):将预测热图与目标热图按关节切分,逐关节计算nn.MSELoss,use_target_weight=True时先按target_weight加权再求均值,最终除以关节数并乘loss_weight(默认 1.0)。TopdownHeatmapSimpleHead(topdown_heatmap_simple_head.py):forward依次经过输入变换、3 层反卷积(每层 stride=2,BN+ReLU)与 1x1 最终卷积层输出 16 通道热图;inference_model支持flip_pairs水平翻转融合与shift_heatmap偏移修正,与配置中test_cfg一一对应。
七、评测口径的重要提醒
原文档末尾的提示对复现与论文写作至关重要,在此重申:
- 本结果页展示的 AP/AR 指标使用 从 COCO 适配的 mAP 评测协议(
xtcocotools+use_area=False),与 MHP 官方评测代码(Multi-Human-Pose 评估脚本)结果可能不同; - 若在论文中引用这些数字,请明确标注评测方法来源,避免与其他工作按不同口径比较;
- 结果页与 resnet_mhp.yml 中记录的权重文件(
res50_mhp_256x192-28c5b818_20201229.pth)与训练日志可用于直接复现指标。
八、总结与扩展方向
MHP 上的 ResNet-50 配置是理解 ViTPose 仓库 top-down 热图范式的理想样例:它串联了"COCO 风格数据集(MHP)→ ResNet 骨干 → SimpleHead 反卷积解码 → 加权 MSE → mAP 评测"的完整链路。基于此配置,你可以:
- 将
model.backbone替换为仓库中的其他骨干(如 HRNet、ViTPose 系列,见 mmpose/models/backbones)进行对比实验; - 通过
--cfg-options调整输入尺寸、heatmap_size、数据增强强度等超参数; - 参考 configs/body/2d_kpt_sview_rgb_img/topdown_heatmap 下其他数据集的同类配置,快速迁移到新数据集。
只要遵循上文的数据准备、配置修改与命令用法,即可在本地复现表中 0.583 AP 的结果,并以此为基础开展拥挤场景人体姿态估计的进一步研究。