ViTPose 仓库 MHP 人体姿态估计实战:ResNet 简单基线(SimpleBaseline2D)配置、训练与评测全解析

原创2026-10-14 19:41:211,454 阅读
文章标签:人工智能计算机视觉深度学习机器学习

ViTPose 仓库 MHP 人体姿态估计实战:ResNet 简单基线(SimpleBaseline2D)配置、训练与评测全解析

导读

本文以 ViTPose 仓库中 MHP 人体姿态估计模型结果页 为核心,系统讲解在 MHP v2.0(Multi-Human Parsing)数据集上,以 ResNet-50 为骨干网络、采用 SimpleBaseline2D 思路的 top-down 热图姿态估计方案的完整落地流程。读完本文,你将掌握该模型的实验指标解读、配置文件中每个关键参数的语义、MHP 数据集准备方法,以及基于 tools/train.py 与 tools/test.py 的训练、分布式训练与评估命令,并能理解底层 TopDownMhpDataset 数据集实现与 mAP 评测口径的细节。

一、模型与数据集背景

1.1 算法组件:SimpleBaseline2D + ResNet

该结果页明确标注了三个核心组件来源(见 resnet_mhp.md):

  • SimpleBaseline2D(ECCV'2018):Bin Xiao 等人提出的“人体姿态估计与追踪的简单基线”,其核心观点是仅用少量反卷积层(deconv)配合分类骨干网络即可达到媲美复杂结构的效果,是 top-down 热图方法的代表性工作。
  • ResNet(CVPR'2016):Kaiming He 等人的深度残差网络,此处作为特征提取骨干,具体使用 depth=50 的 ResNet-50,权重由 torchvision://resnet50 预训练初始化。
  • MHP(ACM MM'2018):Zhao Jian 等人提出的多人体解析基准(Multi-Human Parsing),关注拥挤场景下对多人的理解。

三篇论文的 BibTeX 引用均可直接在结果页中复制,用于论文引用:

@inproceedings{xiao2018simple,
  title={Simple baselines for human pose estimation and tracking},
  author={Xiao, Bin and Wu, Haiping and Wei, Yichen},
  booktitle={Proceedings of the European conference on computer vision (ECCV)},
  pages={466--481},
  year={2018}
}

@inproceedings{he2016deep,
  title={Deep residual learning for image recognition},
  author={He, Kaiming and Zhang, Xiangyu and Ren, Shaoqing and Sun, Jian},
  booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition},
  pages={770--778},
  year={2016}
}

@inproceedings{zhao2018understanding,
  title={Understanding humans in crowded scenes: Deep nested adversarial learning and a new benchmark for multi-human parsing},
  author={Zhao, Jian and Li, Jianshu and Cheng, Yu and Sim, Terence and Yan, Shuicheng and Feng, Jiashi},
  booktitle={Proceedings of the 26th ACM international conference on Multimedia},
  pages={792--800},
  year={2018}
}

1.2 MHP 关键点定义

MHP 数据集采用 16 个关键点的定义(与 COCO 的 17 点略有差异),定义在 configs/base/datasets/mhp.py 中:

索引 关键点名称 部位类型 对称配对(swap)
0 right_ankle lower left_ankle
1 right_knee lower left_knee
2 right_hip lower left_hip
3 left_hip lower right_hip
4 left_knee lower right_knee
5 left_ankle lower right_ankle
6 pelvis lower —
7 thorax upper —
8 upper_neck upper —
9 head_top upper —
10 right_wrist upper left_wrist
11 right_elbow upper left_elbow
12 right_shoulder upper left_shoulder
13 left_shoulder upper right_shoulder
14 left_elbow upper right_elbow
15 left_wrist upper right_wrist

该文件还定义了 15 条骨架连接(skeleton_info)、每个关节的 joint_weights(四肢末端权重更高,如脚踝 1.5、膝盖 1.2)以及用于 OKS 计算的 sigmas(从 COCO 适配而来,如脚踝 0.089、手腕 0.062 等),这些参数直接影响热图回归损失与评测打分。

二、MHP v2.0 验证集实验结果

原结果页给出了在 MHP v2.0 val 集上的完整指标(模型名虽标注为 pose_resnet_101,实际对应配置为 res50_mhp_256x192.py,即 ResNet-50):

Arch Input Size AP AP50 AP75 AR AR50 ckpt log
pose_resnet_101 256x192 0.583 0.897 0.669 0.636 0.918 ckpt log

注意:此处的评测指标为从 COCO 适配而来的 mAP(使用 COCO 风格的关键点评测协议),可能与 MHP 官方评测代码的结果不同。若在论文中使用该结果,请务必谨慎并注明评测口径(原文档已明确提示)。

对应地,模型注册信息(Architecture、Training Data、各指标)也记录在 resnet_mhp.yml 中,作为模型索引(model-index)供自动汇总使用。

三、核心配置文件逐项解读

完整配置见 res50_mhp_256x192.py,其通过 _base_ 机制继承 default_runtime.py 与 mhp.py。

3.1 优化器与学习率调度

optimizer = dict(
    type='Adam',
    lr=5e-4,
)
optimizer_config = dict(grad_clip=None)
# learning policy
lr_config = dict(
    policy='step',
    warmup='linear',
    warmup_iters=500,
    warmup_ratio=0.001,
    step=[170, 200])
total_epochs = 210
  • 优化器使用 Adam,初始学习率 5e-4,不做梯度裁剪(grad_clip=None)。
  • 学习率采用 step 衰减策略:前 500 个 iteration 线性 warmup(warmup 初始比例 0.001),在第 170 与第 200 epoch 各衰减一次,共训练 210 epochs。
  • 使用 tools/train.py 的 --autoscale-lr 参数时,学习率会按 GPU 数量线性缩放(lr * len(gpu_ids) / 8),详见 tools/train.py。

3.2 模型结构与通道配置

channel_cfg = dict(
    num_output_channels=16,
    dataset_joints=16,
    dataset_channel=[[0, 1, ..., 15]],
    inference_channel=[0, 1, ..., 15])

model = dict(
    type='TopDown',
    pretrained='torchvision://resnet50',
    backbone=dict(type='ResNet', depth=50),
    keypoint_head=dict(
        type='TopdownHeatmapSimpleHead',
        in_channels=2048,
        out_channels=channel_cfg['num_output_channels'],
        loss_keypoint=dict(type='JointsMSELoss', use_target_weight=True)),
    train_cfg=dict(),
    test_cfg=dict(
        flip_test=True,
        post_process='default',
        shift_heatmap=True,
        modulate_kernel=11))
  • 检测器类型为 TopDown(top-down 两阶段范式:先检测人体框,再对每个框估计关键点)。
  • 骨干为 ResNet-50,输入特征通道 2048,送入 TopdownHeatmapSimpleHead。
  • TopdownHeatmapSimpleHead(实现在 topdown_heatmap_simple_head.py)默认由 3 层反卷积(每层 256 通道、kernel 4、stride 2)+ 1x1 卷积 组成:将 2048 通道的骨干特征上采样 8 倍并投影到 16 通道热图(48x64),每个通道对应一个关节。
  • 损失函数 JointsMSELoss(mse_loss.py)为加权 MSE:use_target_weight=True 时按 target_weight 逐关节加权,即上文 joint_weights 生效。
  • 推理侧开启 flip_test(水平翻转测试融合)、shift_heatmap(翻转热图平移修正)与 modulate_kernel=11(关键点后处理调制核),可参考 top_down_eval.py 理解其实现。

3.3 数据配置与预处理管道

data_cfg = dict(
    image_size=[192, 256],
    heatmap_size=[48, 64],
    num_output_channels=16,
    num_joints=16,
    soft_nms=False,
    nms_thr=1.0,
    oks_thr=0.9,
    vis_thr=0.2,
    bbox_thr=1.0,
    use_gt_bbox=True,
    image_thr=0.0,
    bbox_file='',
)
  • 输入图像裁剪为 192x256,对应热图尺寸 48x64(1/4 分辨率)。
  • use_gt_bbox=True:训练与验证阶段使用数据集中提供的人体框标注(Ground Truth bbox),无需外部检测器。这对 MHP 数据集是强制的——TopDownMhpDataset._get_db 中 assert self.use_gt_bbox 会直接断言,见 topdown_mhp_dataset.py。

训练管道(train_pipeline)依次包含:图像加载 → 随机水平翻转(0.5 概率)→ 半身变换(半身关键点≥8 时以 0.3 概率只取半身)→ 随机旋转/缩放(rot_factor=40, scale_factor=0.5)→ 仿射变换 → Tensor 化与 ImageNet 归一化 → 生成高斯热图目标(sigma=2)→ Collect。验证/测试管道则只做仿射变换与归一化,不做数据增强。

3.4 数据组织

data_root = 'data/mhp'
data = dict(
    samples_per_gpu=64,
    workers_per_gpu=2,
    train=dict(type='TopDownMhpDataset',
               ann_file=f'{data_root}/annotations/mhp_train.json',
               img_prefix=f'{data_root}/train/images/', ...),
    val=dict(... ann_file='.../mhp_val.json', img_prefix='.../val/images/', ...),
    test=dict(... ann_file='.../mhp_val.json', ...),
)

训练 batch size 为每 GPU 64,验证/测试为每 GPU 32。评估配置 evaluation = dict(interval=10, metric='mAP', save_best='AP') 表示每 10 个 epoch 在验证集上评估一次并保存最优 AP 权重。

四、MHP 数据集准备

按照 docs/zh_cn/tasks/2d_body_keypoint.md 中的说明,从 MHP 官方主页下载数据文件,并从 openmmlab 提供的链接下载转换后的标注文件,放置于 data 目录并整理为如下结构:

mmpose
├── mmpose
├── docs
├── tests
├── tools
├── configs
`── data
    │── mhp
        │-- annotations
        │   │-- mhp_train.json
        │   │-- mhp_val.json
        │
        `-- train
        │   │-- images
        │   │   │-- 1004.jpg
        │   │   │-- 10050.jpg
        │   │   │-- ...
        │
        `-- val
        │   │-- images
        │   │   │-- 10059.jpg
        │   │   │-- 10068.jpg
        │   │   │-- ...

标注文件采用 COCO 风格 JSON 格式,因此数据集类可直接复用 COCO 的加载逻辑(见下文源码剖析)。

五、训练与评估命令

5.1 单卡训练

python tools/train.py configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/mhp/res50_mhp_256x192.py

常用可选参数:

  • --work-dir:指定日志与权重保存目录(默认 ./work_dirs/res50_mhp_256x192)。
  • --no-validate:训练过程中不进行评估。
  • --gpu-id:指定使用的 GPU 编号(默认 0)。
  • --seed / --deterministic:设置随机种子与 CUDNN 确定性。
  • --cfg-options:临时覆盖配置,例如 --cfg-options model.backbone.depth=18。
  • --autoscale-lr:按 GPU 数线性缩放学习率。

5.2 多卡分布式训练

使用 tools/dist_train.sh:

bash tools/dist_train.sh configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/mhp/res50_mhp_256x192.py 8

该脚本通过 torch.distributed.launch 启动 --nproc_per_node=$GPUS 个进程,并以 --launcher pytorch 进入分布式模式;PORT 环境变量可指定通信端口(默认 29500)。

5.3 测试与评估

python tools/test.py configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/mhp/res50_mhp_256x192.py \
    /path/to/res50_mhp_256x192-28c5b818_20201229.pth --eval mAP
  • --eval mAP:指定评估指标,MHP 采用 COCO 风格的 mAP。
  • --out:将预测结果保存为文件。
  • --fuse-conv-bn:融合卷积与 BN 层以略微提升推理速度。
  • 测试流程(tools/test.py)会先将 cfg.data.test.test_mode 置为 True、加载权重、构建数据加载器,最后调用 dataset.evaluate(outputs, ...) 输出各指标。

六、源码级实现剖析

6.1 TopDownMhpDataset:复用 COCO 协议的 MHP 数据集

类实现在 topdown_mhp_dataset.py,并通过 top_down/init.py 注册:

@DATASETS.register_module()
class TopDownMhpDataset(TopDownCocoDataset):

关键实现事实:

  • 直接继承 TopDownCocoDataset,因为 MHP 标注为 COCO 风格 JSON,可直接复用 _load_coco_keypoint_annotations 等加载逻辑。
  • _get_db 中 强制 assert self.use_gt_bbox,即 MHP 实验一律使用 GT 人体框,这与配置中 use_gt_bbox=True 对应;配置文件中的 image_thr 已被标记 deprecated,建议改用 det_bbox_thr。
  • 评测使用 xtcocotools.cocoeval.COCOeval,并以 use_area=False 调用(对姿态任务不按面积加权),依次执行 evaluate() → accumulate() → summarize(),输出 AP、AP.5、AP.75、AP(M)、AP(L)、AR 等 10 项统计量——这正是结果表中 mAP 系列指标的来源。

6.2 测试用例验证

仓库在 tests/test_datasets/test_top_down_dataset.py 中提供了 test_top_down_MHP_dataset 测试:使用 tests/data/mhp/test_mhp.json 与 tests/data/mhp/ 图片目录构造数据集,断言 dataset_name == 'mhp'、use_gt_bbox=False 时会触发 AssertionError,且对构造的预测结果评估 mAP 应为 1.0(完美预测)。这一测试同时验证了"仅支持 GT bbox"与"mAP 评测"两条关键约束。

6.3 损失与头部实现

  • JointsMSELoss(mse_loss.py):将预测热图与目标热图按关节切分,逐关节计算 nn.MSELoss,use_target_weight=True 时先按 target_weight 加权再求均值,最终除以关节数并乘 loss_weight(默认 1.0)。
  • TopdownHeatmapSimpleHead(topdown_heatmap_simple_head.py):forward 依次经过输入变换、3 层反卷积(每层 stride=2,BN+ReLU)与 1x1 最终卷积层输出 16 通道热图;inference_model 支持 flip_pairs 水平翻转融合与 shift_heatmap 偏移修正,与配置中 test_cfg 一一对应。

七、评测口径的重要提醒

原文档末尾的提示对复现与论文写作至关重要,在此重申:

  1. 本结果页展示的 AP/AR 指标使用 从 COCO 适配的 mAP 评测协议(xtcocotools + use_area=False),与 MHP 官方评测代码(Multi-Human-Pose 评估脚本)结果可能不同;
  2. 若在论文中引用这些数字,请明确标注评测方法来源,避免与其他工作按不同口径比较;
  3. 结果页与 resnet_mhp.yml 中记录的权重文件(res50_mhp_256x192-28c5b818_20201229.pth)与训练日志可用于直接复现指标。

八、总结与扩展方向

MHP 上的 ResNet-50 配置是理解 ViTPose 仓库 top-down 热图范式的理想样例:它串联了"COCO 风格数据集(MHP)→ ResNet 骨干 → SimpleHead 反卷积解码 → 加权 MSE → mAP 评测"的完整链路。基于此配置,你可以:

只要遵循上文的数据准备、配置修改与命令用法,即可在本地复现表中 0.583 AP 的结果,并以此为基础开展拥挤场景人体姿态估计的进一步研究。

登录后查看全文
ViTPose