ViTPose 仓库 CrowdPose 人体姿态估计实战:基于 ResNet + SimpleBaseline 的 Top-Down 配置解析与训练评估指南

原创2026-10-13 14:01:391,767 阅读
文章标签:人工智能计算机视觉深度学习机器学习

ViTPose 仓库 CrowdPose 人体姿态估计实战:基于 ResNet + SimpleBaseline 的 Top-Down 配置解析与训练评估指南

本文是 ViTPose 仓库中 configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/crowdpose/resnet_crowdpose.md 的深度技术解读。它以 CrowdPose 拥挤场景人体姿态估计任务为切入点,系统讲解 ResNet 骨干 + 热图回归头(SimpleBaseline2D)的 Top-Down 训练配置、数据组织、评估协议与源码实现。读完本文,你将掌握 CrowdPose 上 4 套 ResNet 配置的完整参数含义、从训练到评测再到推理的全流程操作,以及 OKS-NMS、AP(E)/AP(M)/AP(H) 分级评估等 CrowdPose 特有机制。

一、任务背景:为什么 CrowdPose 是 Top-Down 姿态估计的"高压测试场"

CrowdPose(CVPR'2019)是面向密集拥挤场景的人体姿态估计基准数据集,其核心难点在于:图像中大量人群彼此遮挡、交错,人体实例之间的关键点极易混淆。与 COCO 相比,CrowdPose 专门引入"拥挤度"(crowd index)来量化每张图片的人群密集程度,并将测试集划分为 Easy、Medium、Hard 三个难度等级,分别对应 AP(E)、AP(M)、AP(H) 指标。

本文所述方案采用 Top-Down(自上而下) 范式:先由人体检测器(官方评测使用 YOLOv3 人体检测器)框出每个人,再对每个人体框独立进行关键点回归。在拥挤场景下,Top-Down 方法的效果高度依赖检测框质量与后处理策略,这也是本配置中 data_cfg 出现大量 NMS / OKS / 可见性阈值参数的原因。

算法与骨干的学术出处(详见原文档 resnet_crowdpose.md):

  • SimpleBaseline2D(ECCV'2018):@inproceedings{xiao2018simple, title={Simple baselines for human pose estimation and tracking}, ...},提出"ResNet 骨干 + 反卷积/上采样 + 热图回归"的极简强基线;
  • ResNet(CVPR'2016):@inproceedings{he2016deep, title={Deep residual learning for image recognition}, ...},提供 50/101/152 层深度残差骨干;
  • CrowdPose(CVPR'2019):@article{li2018crowdpose, title={CrowdPose: Efficient Crowded Scenes Pose Estimation and A New Benchmark}, ...},定义 14 关键点协议与分级评估体系。

二、4 套官方配置一览:精度与输入的权衡

原文档给出 CrowdPose test 集上使用 YOLOv3 人体检测器的完整评测结果,本仓库对应 4 份可直接复用的配置文件:

配置 输入尺寸 AP AP50 AP75 AP (E) AP (M) AP (H)
res50_crowdpose_256x192.py 256x192 0.637 0.808 0.692 0.739 0.650 0.506
res101_crowdpose_256x192.py 256x192 0.647 0.810 0.703 0.744 0.658 0.522
res101_crowdpose_320x256.py 320x256 0.661 0.821 0.714 0.759 0.671 0.536
res152_crowdpose_256x192.py 256x192 0.656 0.818 0.712 0.754 0.666 0.532

(原文档中的 ckpt / log 权重与日志由 OpenMMLab 模型库托管,训练复现后可使用 tools/test.py 自行评测核对上述指标。)

几点关键观察:

  1. 骨干加深带来的收益有限但稳定:ResNet-50 → ResNet-101 → ResNet-152,AP 从 0.637 提升到 0.647、0.656,符合 SimpleBaseline 在 COCO 上"加深骨干增益递减"的规律。
  2. 输入分辨率是显著的精度杠杆:ResNet-101 从 256x192 提到 320x256,AP 提升 0.014(0.647 → 0.661),且在所有子指标(AP50/AP75/AP(E)/AP(M)/AP(H))上全面领先,说明拥挤场景对空间细节高度敏感。
  3. 困难样本是瓶颈:所有配置的 AP(H)(0.506~0.536)都远低于 AP(E)(0.739~0.759),印证"人群越密集,Top-Down 方法越吃力",这也是后处理参数需要单独调优的原因。

三、配置深度解析:一份配置文件读懂 CrowdPose 全流程

以 res50_crowdpose_256x192.py 为例,4 份配置结构完全一致,仅在骨干深度与输入尺寸上不同。

3.1 基础继承与训练节奏

_base_ = [
    '../../../../_base_/default_runtime.py',
    '../../../../_base_/datasets/crowdpose.py'
]
evaluation = dict(interval=10, metric='mAP')

optimizer = dict(type='Adam', lr=5e-4)
optimizer_config = dict(grad_clip=None)
lr_config = dict(
    policy='step',
    warmup='linear',
    warmup_iters=500,
    warmup_ratio=0.001,
    step=[170, 200])
total_epochs = 210
  • 两份 _base_ 分别提供运行时公共配置(见 default_runtime.py:checkpoint_config = dict(interval=10) 每 10 epoch 存一次权重、log_config 每 50 iter 打印日志、opencv_num_threads = 0 关闭 OpenCV 多线程避免系统过载、mp_start_method = 'fork' 加速多进程数据加载)与 CrowdPose 数据集元信息;
  • 优化器为 Adam(lr=5e-4,CrowdPose 上 Adam 优于 SGD,是相对 COCO 配置的显著差异点),配合 step 衰减策略:前 500 次迭代线性 warmup(初始比例 0.001),在第 170、200 epoch 学习率各衰减一次,共训练 210 epoch;
  • evaluation = dict(interval=10, metric='mAP'):每 10 epoch 在验证集上执行一次 mAP 评估。

3.2 通道配置:CrowdPose 的 14 关键点协议

channel_cfg = dict(
    num_output_channels=14,
    dataset_joints=14,
    dataset_channel=[[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13]],
    inference_channel=[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13])

CrowdPose 定义了 14 个关键点:left_shoulder, right_shoulder, left_elbow, right_elbow, left_wrist, right_wrist, left_hip, right_hip, left_knee, right_knee, left_ankle, right_ankle, top_head, neck(索引 0~13),完整定义见 crowdpose.py 的 keypoint_info。该文件同时给出 15 条骨架连接 skeleton_info(如 left_ankle-left_knee、top_head-neck)、每关节的 joint_weights(如左右肘 0.2、左右腕 1.5 等非均匀权重)以及 OKS 计算所需的 sigmas 数组——这些将直接参与损失加权与评估打分。

3.3 模型结构:ResNet + SimpleHeatmap 头

model = dict(
    type='TopDown',
    pretrained='torchvision://resnet50',
    backbone=dict(type='ResNet', depth=50),
    keypoint_head=dict(
        type='TopdownHeatmapSimpleHead',
        in_channels=2048,
        out_channels=channel_cfg['num_output_channels'],
        loss_keypoint=dict(type='JointsMSELoss', use_target_weight=True)),
    train_cfg=dict(),
    test_cfg=dict(
        flip_test=True,
        post_process='default',
        shift_heatmap=True,
        modulate_kernel=11))
  • 骨干加载 torchvision://resnet50(res101/res152 配置相应替换为 torchvision://resnet101/152),后接 TopdownHeatmapSimpleHead(实现见 topdown_heatmap_simple_head.py),将 2048 维特征上采样为 14 通道热图;
  • 损失为 JointsMSELoss(实现见 mse_loss.py),use_target_weight=True 表示按关节 joint_weights 加权计算 MSE——例如手腕(1.5)比肘部(0.2)承担更高的回归权重,对应 CrowdPose 标注中手腕定位更难的事实;
  • test_cfg 中的 flip_test=True 开启水平翻转测试(测试时对原图与翻转图各推理一次并融合);shift_heatmap=True 在翻转融合时对热图做一像素平移校正——其实现细节可见 TopdownHeatmapSimpleHead.inference_model 中的 output_heatmap[:, :, :, 1:] = output_heatmap[:, :, :, :-1],用于修正翻转带来的坐标偏移误差。

3.4 数据配置:拥挤场景专用后处理

data_cfg = dict(
    image_size=[192, 256],
    heatmap_size=[48, 64],
    num_output_channels=channel_cfg['num_output_channels'],
    num_joints=channel_cfg['dataset_joints'],
    dataset_channel=channel_cfg['dataset_channel'],
    inference_channel=channel_cfg['inference_channel'],
    crowd_matching=False,
    soft_nms=False,
    nms_thr=1.0,
    oks_thr=0.9,
    vis_thr=0.2,
    use_gt_bbox=False,
    det_bbox_thr=0.0,
    bbox_file='data/crowdpose/annotations/det_for_crowd_test_0.1_0.5.json',
)
  • image_size=[192, 256] 对应输入 256x192(高 x 宽),heatmap_size=[48, 64] 对应 1/4 分辨率热图;320x256 配置同步放大为 image_size=[256, 320]、heatmap_size=[64, 80];
  • use_gt_bbox=False:训练阶段使用标注框,测试阶段则读取 bbox_file 指定的 YOLOv3 检测框文件 det_for_crowd_test_0.1_0.5.json(检测置信度阈值 0.1、NMS 阈值 0.5 的产物),这正是"评测结果基于 YOLOv3 人体检测器"的配置体现。该开关在 topdown_coco_dataset.py 的 _get_db 中分叉:use_gt_bbox 为真走 _load_coco_keypoint_annotations()(GT 框),否则走 _load_coco_person_detection_results()(检测框);
  • crowd_matching=False:不做人群匹配;soft_nms=False、nms_thr=1.0、oks_thr=0.9、vis_thr=0.2 构成后处理策略:nms_thr=1.0 意味着不对重复检测做硬抑制,转而依赖 oks_thr=0.9 的 OKS-NMS 与 vis_thr=0.2 的可见性过滤来合并冗余人体框。这些参数在 topdown_crowdpose_dataset.py 中被读取为实例属性,并由 topdown_coco_dataset.py 在 _do_python_keypoint_eval 流程中实际参与候选框过滤与 NMS 计算。

3.5 数据流水线:训练增强与验证路径

训练 pipeline 依次为:LoadImageFromFile → TopDownRandomFlip(0.5 概率随机翻转)→ TopDownHalfBodyTransform(0.3 概率、≥6 个可见关节时裁剪半身,逼迫模型学习被遮挡部位)→ TopDownGetRandomScaleRotation(旋转 ±40°、尺度扰动 0.5)→ TopDownAffine(仿射变换)→ ToTensor → NormalizeTensor(ImageNet 均值/标准差)→ TopDownGenerateTarget(sigma=2 生成高斯热图标签)→ Collect。各变换类实现集中在 top_down_transform.py。

验证/测试 pipeline 只保留仿射、张量化、归一化与收集四步,且 test_pipeline = val_pipeline。数据组织上,训练集使用 mmpose_crowdpose_trainval.json(trainval 合并),验证与测试共用 mmpose_crowdpose_test.json,batch 配置为 samples_per_gpu=64、workers_per_gpu=2,验证/测试阶段 samples_per_gpu=32,数据集类统一为 TopDownCrowdPoseDataset。

四、源码佐证:CrowdPose 数据集类与分级评估协议

4.1 数据集类与测试用例

TopDownCrowdPoseDataset 定义于 topdown_crowdpose_dataset.py,继承 TopDownCocoDataset,其 _do_python_keypoint_eval 使用 COCOeval(..., 'keypoints_crowd', self.sigmas, use_area=False) 完成评估,并输出 9 项统计量:

AP, AP .5, AP .75, AR, AR .5, AR .75, AP(E), AP(M), AP(H)

其中 AP(E)/AP(M)/AP(H) 即原文档结果表中的三列,分别对应 Easy / Medium / Hard 拥挤度分组——这是 CrowdPose 区别于 COCO 的专属评估协议。

仓库单元测试 test_top_down_dataset.py 的 test_top_down_CrowdPose_dataset 完整复现了上述 channel_cfg 与 data_cfg,并同时验证了 use_gt_bbox=True/False(GT 框 vs 检测框)两种数据路径、训练/测试两种模式,以及 bbox_file='tests/data/crowdpose/test_crowdpose_det_AP_40.json' 的检测框加载,可直接作为配置正确性的回归基准。

4.2 检测框驱动的评测链路

评测链路可以归纳为:bbox_file(YOLOv3 检测结果)→ TopDownCrowdPoseDataset 按 det_bbox_thr 过滤 → 每个人体框经 _box2cs 转换为 center/scale → Top-Down 模型逐人推理 14 张热图 → get_max_preds 取峰值坐标(见 top_down_eval.py 的 _get_max_preds)→ 按 oks_thr 做 OKS-NMS 合并重复框 → COCOeval 输出 AP(E)/AP(M)/AP(H)。

五、实战操作:训练、评测与单图推理

5.1 数据准备

按仓库文档约定将 CrowdPose 数据放置为:

data/crowdpose/
├── annotations/
│   ├── mmpose_crowdpose_trainval.json
│   ├── mmpose_crowdpose_test.json
│   └── det_for_crowd_test_0.1_0.5.json   # YOLOv3 人体检测框
└── images/

5.2 训练(单卡 / 多卡)

# 单卡训练(直接使用 <a href="https://link.gitcode.com/i/691d1e5585f9fbd5a657e8079cce362d" target="_blank">tools/train.py</a>)
python tools/train.py configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/crowdpose/res50_crowdpose_256x192.py

# 多卡分布式训练
bash tools/dist_train.sh \
  configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/crowdpose/res101_crowdpose_320x256.py \
  8

tools/train.py 支持 --work-dir(日志与权重输出目录)、--resume-from(断点续训)、--seed 等参数;在 Slurm 集群上可改用 slurm_train.sh。

5.3 评测

python tools/test.py \
  configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/crowdpose/res152_crowdpose_256x192.py \
  /path/to/checkpoints/res152_crowdpose_256x192.pth \
  --eval mAP

评估使用检测框文件(use_gt_bbox=False),最终输出 9 项统计量,其中 AP(E)/AP(M)/AP(H) 可与上表官方数值直接对标。

5.4 单图推理

若已有人体检测框,可用 demo/top_down_img_demo.py 进行端到端演示:

python demo/top_down_img_demo.py \
  configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/crowdpose/res50_crowdpose_256x192.py \
  /path/to/checkpoints/res50_crowdpose_256x192.pth \
  --img-root tests/data/crowdpose/ \
  --json-file tests/data/crowdpose/test_crowdpose.json \
  --out-img-root vis_results

其底层调用链为 init_pose_model 加载模型 → inference_top_down_pose_model(定义于 mmpose/apis/inference.py,接收 person_results 中的人体框列表、支持 bbox_thr 过滤与 return_heatmap 返回热图)→ vis_pose_result 可视化。需要更完整的检测+姿态串联流程时,可参考 top_down_img_demo_with_mmdet.py。

六、总结:从配置到原理的关键结论

  1. 精度主旋律是"输入分辨率 × 骨干深度":CrowdPose 拥挤场景下,把 ResNet-101 的输入从 256x192 提到 320x256(AP 0.647→0.661)比把骨干从 50 加深到 152(AP 0.637→0.656)收益更直接;
  2. Adam + 210 epoch + 半身裁剪是这套配置区别于 COCO 方案的 CrowdPose 特化设计,用于应对遮挡与样本分布;
  3. OKS-NMS 与分级评估是 CrowdPose 协议的核心:oks_thr=0.9、vis_thr=0.2 直接决定检测框合并策略,而 AP(E)/AP(M)/AP(H) 分难度报告让模型在拥挤人群上的短板一目了然;
  4. 评测闭环依赖 YOLOv3 检测框:use_gt_bbox=False + bbox_file 的设定确保所有模型在相同检测输入下可比,复现官方指标时需使用同一份 det_for_crowd_test_0.1_0.5.json。

以上内容均以 resnet_crowdpose.md 为骨架,并经仓库配置、数据集元信息与源码逐项印证,可直接作为 CrowdPose 上 ResNet 系 Top-Down 模型的训练、评估与复现手册使用。

登录后查看全文
ViTPose