MMPose 中 COCO-WholeBody-Face 数据集全解析:68 点人脸关键点标注、数据准备与模型训练评测

原创2026-10-10 20:42:181,427 阅读
文章标签:人工智能计算机视觉深度学习

MMPose 中 COCO-WholeBody-Face 数据集全解析:68 点人脸关键点标注、数据准备与模型训练评测

COCO-WholeBody-Face 是 ECCV'2020 论文《Whole-Body Human Pose Estimation in the Wild》提出的人脸关键点子数据集,在 MMPose 中被用于 2D 人脸关键点(人脸对齐)任务的训练与评测。本文以该数据集为核心,结合仓库中的数据集元信息配置、CocoWholeBodyFaceDataset 源码实现、模型配置与 NME 评测指标,完整讲解 68 点标注结构、数据准备流程、Top-down 与 RTMPose 系列模型配置,以及 NME 指标的计算原理,帮助读者直接上手基于该数据集训练与评测人脸关键点模型。

COCO-WholeBody-Face 数据集的由来

COCO-WholeBody-Face 源自 2020 年 ECCV 论文《Whole-Body Human Pose Estimation in the Wild》(作者:Jin Sheng、Xu Lumin 等),该工作提出了 COCO-WholeBody 数据集,在 COCO 2017 的基础上为每张图片补充了人体全身(body)、脚(foot)、脸(face)、手(hand)等部位的密集关键点标注,总关键点数量远超传统人体姿态数据集。论文引用信息如下:

@inproceedings{jin2020whole,
  title={Whole-Body Human Pose Estimation in the Wild},
  author={Jin, Sheng and Xu, Lumin and Xu, Jin and Wang, Can and Liu, Wentao and Qian, Chen and Ouyang, Wanli and Luo, Ping},
  booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
  year={2020}
}

在 MMPose 中,COCO-WholeBody 被拆分为多个独立的子数据集配置,分别用于不同部位的关键点任务,从 configs/base/datasets/ 目录下的文件可以看到:

  • coco_wholebody.py:全身 133 点身体关键点;
  • coco_wholebody_face.py:68 点人脸关键点(本文主题);
  • coco_wholebody_hand.py:手部关键点。

其中人脸子集遵循标准的 68 点标注(mark-up),这一点在源码 docstring 中明确说明:「The face landmark annotations follow the 68 points mark-up」(见 coco_wholebody_face_dataset.py)。

68 点人脸关键点的标注结构

MMPose 通过 configs/base/datasets/coco_wholebody_face.py 定义该数据集的元信息(dataset_info),包括 68 个关键点的名称、颜色、左右对称(swap)关系、OKS sigma 值等。这份配置同时被数据集源码通过 from_file 引用,作为 metainfo 的唯一来源(见 coco_wholebody_face_dataset.py)。

关键点命名与对称关系

68 个关键点统一以 face-0 至 face-67 命名,每个关键点通过 swap 字段声明其在水平翻转时的镜像对应点。从 swap 对称关系与 68 点标注惯例可以推断出以下分组结构:

  • 面部轮廓(face-0 ~ face-16,共 17 点):首尾成对镜像(如 face-0 ↔ face-16、face-7 ↔ face-9),face-8 位于下巴中心无对称点;
  • 眉毛(face-17 ~ face-26,共 10 点):左右眉各 5 点成对镜像(如 face-17 ↔ face-26、face-21 ↔ face-22);
  • 鼻部区域(face-27 ~ face-35,共 9 点):其中 face-27 ~ face-30 处于鼻梁中轴无 swap,face-31 ↔ face-35、face-32 ↔ face-34 为两侧鼻翼镜像,face-33 无对称;
  • 眼部(face-36 ~ face-47,共 12 点):左右眼各 6 点,互为镜像(如 face-36 ↔ face-45、face-41 ↔ face-46);
  • 嘴部(face-48 ~ face-67,共 20 点):外轮廓与内轮廓混合,左右成对镜像(如 face-48 ↔ face-54、face-60 ↔ face-64)。

这套对称关系在训练时用于水平翻转(RandomFlip)后交换左右关键点,保证翻转增强后标签仍然正确。

OKS sigmas 与关键点权重

配置中还提供了两个对训练与评测至关重要的数组:

  • sigmas:68 个浮点数,对应每个关键点的 OKS(Object Keypoint Similarity)sigma 值,来源标注为 COCO-WholeBody 官方评测脚本 myeval_wholebody.py(配置中以注释形式给出出处)。它决定了不同关键点(如眉尖、眼角、嘴角)在相似度计算中的容差权重;
  • joint_weights=[1.] * 68:关键点损失权重,当前全部置为 1,表示各关键点对损失的贡献相同。

同时 skeleton_info 为空,因为人脸关键点通常不定义骨架连线。

MMPose 中的数据集实现:CocoWholeBodyFaceDataset

数据集的核心实现在 coco_wholebody_face_dataset.py,类名为 CocoWholeBodyFaceDataset,通过 @DATASETS.register_module() 注册到 MMPose 的注册表,因此配置中可以直接以 type='CocoWholeBodyFaceDataset' 使用(见 rtmpose-m 配置)。该类继承自 BaseCocoStyleDataset,即采用 COCO 风格的标注 JSON。

其核心方法 parse_data_info(源码 L62-L115)逐实例解析原始标注,包含以下几个关键处理逻辑:

  1. 无效实例过滤:若 ann<a href="https://link.gitcode.com/i/96e4d8b901babdedfa4bc2d2f12c8069" target="_blank">'face_valid'] 为假或所有 face_kpts 最大值不大于 0,则返回 None 丢弃该实例([L81-L82)。这也是人脸子集与全身数据集的关键差异——并非每张 COCO 图片都有人脸标注;
  2. 人脸框处理:从 ann<a href="https://link.gitcode.com/i/e767078ebd8ad47abc1d36dcb5671dc3" target="_blank">'face_box'](xywh 格式)读取人脸框,并裁剪到图像边界内,转换为 [x1, y1, x2, y2] 的 numpy 数组([L88-L94)。这个 bbox 正是 Top-down 方法裁剪输入的依据;
  3. 关键点解析:face_kpts 以 <a href="https://link.gitcode.com/i/ce07dac0fcd37b7c867510e2b77be196" target="_blank">K, 3] 形式存储(x、y、可见性标志),解析为 keypoints(坐标)与 keypoints_visible(可见性,取 min(1, flag)),供损失计算与评测掩码使用([L97-L100)。

测试用例 test_coco_wholebody_face_dataset.py 对该实现做了完整验证:校验 metainfo 中 dataset_name='coco_wholebody_face'、num_keypoints=68、sigmas 长度等于 68(L73-L88);同时验证了 topdown/bottomup 两种模式以及无效人脸实例的过滤逻辑(L90-L119)。

数据准备:目录结构与评测依赖

根据数据集准备指南 2d_face_keypoint.md 的 COCO-WholeBody (Face) 一节,需要准备 COCO 2017 的 Train/Val 图片与 COCO-WholeBody 官方标注。数据根目录统一放置在 data/coco/ 下(模型配置中的 data_root = 'data/coco/'),最终目录结构如下:

mmpose
├── mmpose
├── docs
├── tests
├── tools
├── configs
└── data
    └── coco
        ├── annotations
        │   ├── coco_wholebody_train_v1.0.json
        │   └── coco_wholebody_val_v1.0.json
        ├── person_detection_results
        │   └── COCO_val2017_detections_AP_H_56_person.json
        ├── train2017
        │   ├── 000000000009.jpg
        │   └── ...
        └── val2017
            ├── 000000000139.jpg
            └── ...

其中:

  • 图片来自 COCO 2017 Train/Val,与人脸子集共用同一批图片;
  • 标注文件为 COCO-WholeBody 官方转换后的 coco_wholebody_train_v1.0.json 与 coco_wholebody_val_v1.0.json,由模型配置中的 ann_file 字段指定(见 rtmpose-m 配置);
  • person_detection_results 存放 COCO val2017 的检测结果,用于评测阶段替换 GT bbox(如 RTMPose 系列在模型卡片中所用的 COCO val2017 person 检测结果)。

此外,COCO-WholeBody 的评测依赖扩展版 COCO API——xtcocotools,按数据准备指南需要执行 pip install xtcocotools,以支持全身/脸部关键点格式的评测。若目录结构与上述不一致,需要同步修改配置文件中的 data_root、ann_file 与 data_prefix。

基于该数据集的模型配置与训练

configs/face_2d_keypoint/ 下提供两组基于 COCO-WholeBody-Face 的模型配置:rtmpose/coco_wholebody_face/(SimCC 标签的 RTMPose 系列)与 topdown_heatmap/coco_wholebody_face/(经典热图系列)。

RTMPose-m 配置详解

以 rtmpose-m_8xb32-60e_coco-wholebody-face-256x256.py 为例,其设计要点包括:

标签编码(codec):使用 SimCCLabel,输入尺寸 256x256,sigma=(5.66, 5.66),simcc_split_ratio=2.0,normalize=False,use_dark=False。SimCC 将坐标预测转化为坐标分类问题:把图像坐标按 simcc_split_ratio 放大后分别对 x/y 轴生成高斯标签(SimCCLabel 的实现细节见 simcc_label.py),从而在低分辨率特征图上获得亚像素精度。

模型结构:TopdownPoseEstimator + mmdet 作用域下的 CSPNeXt backbone(arch='P5',deepen_factor=0.67,widen_factor=0.75)+ RTMCCHead(in_channels=768,out_channels=68,gau_cfg 中 hidden_dims=256),损失函数为 KLDiscretLoss(beta=10.0,label_softmax=True)。head 的 out_channels=68 与数据集关键点数量严格对应。

训练策略:AdamW 优化器(lr=4e-3,weight_decay=0.05)、LinearLR warm-up + CosineAnnealingLR 调度、auto_scale_lr(base_batch_size=512) 自动按实际 batch 缩放学习率;两阶段训练——前 50 个 epoch 使用较强的数据增强(RandomBBoxTransform scale_factor=[0.6,1.4]、rotate_factor=80、CoarseDropout 遮挡增强 p=1.0),最后 10 个 epoch 通过 mmdet.PipelineSwitchHook 切换为轻增强 pipeline(stage2_num_epochs=10);同时挂载 EMAHook(ExpMomentumEMA,momentum=0.0002)提升稳定性。

评测设置:val_evaluator 使用 NME 指标,norm_mode='keypoint_distance';checkpoint 保存策略为 save_best='NME'、rule='less'(NME 越小越好)。

Top-down Heatmap 系列

topdown_heatmap/coco_wholebody_face/ 目录下提供了多种 backbone 的热图回归配置,以 td-hm_res50_8xb32-60e_coco-wholebody-face-256x256.py 为代表:ResNet-50 backbone + HeatmapHead(in_channels=2048,out_channels=68),MSRAHeatmap codec(heatmap_size=(64, 64),sigma=2),损失为 KeypointMSELoss,测试时启用 flip_test 与 shift_heatmap 后处理。优化器为 Adam(lr=2e-3),学习率在 epoch 40/55 处按 0.1 倍衰减,同样以 NME 为保存最优 checkpoint 的依据。

已有模型结果(COCO-WholeBody-Face val set)

各模型在验证集上的 NME 结果可从对应模型卡片(.md)与模型索引(.yml)中确认,汇总如下:

Arch Input Size NME 模型卡片
RTMPose-m 256x256 0.0466 rtmpose_coco_wholebody_face.md
HRNetv2-w18 + DarkPose 256x256 0.0513 hrnetv2_dark_coco_wholebody_face.md
HRNetv2-w18 256x256 0.0569 hrnetv2_coco_wholebody_face.md
ResNet-50 256x256 0.0582 resnet_coco_wholebody_face.md
Hourglass-52 256x256 0.0587 hourglass_coco_wholebody_face.md

其中 RTMPose-m 取得了 0.0466 的 NME,为当前仓库该数据集中指标最优的配置。各模型卡片中同时提供了训练日志与权重文件的下载地址,模型元信息(含任务类型、训练数据、指标)可在对应的 .yml 模型索引中查看,例如 rtmpose_coco_wholebody_face.yml。

训练与测试命令

使用仓库自带的 tools/train.py 与 tools/test.py 即可完成训练与评测,命令格式如下(distributed 训练可参考 tools/dist_train.sh):

# 单卡训练
python tools/train.py configs/face_2d_keypoint/rtmpose/coco_wholebody_face/rtmpose-m_8xb32-60e_coco-wholebody-face-256x256.py

# 测试(加载训练好的权重)
python tools/test.py configs/face_2d_keypoint/rtmpose/coco_wholebody_face/rtmpose-m_8xb32-60e_coco-wholebody-face-256x256.py ${CHECKPOINT}

训练/测试前需确保 data/coco/ 目录结构与上文一致,并按需安装 xtcocotools。

NME 评测指标详解

人脸关键点任务在 COCO-WholeBody-Face 上使用 NME(Normalized Mean Error,归一化平均误差)作为评测指标,而非 COCO 的 AP/OKS。其实现位于 keypoint_2d_metrics.py 中的 NME 类(L722 起)。

配置中的 norm_mode='keypoint_distance' 表示使用指定关键点对的距离作为归一化因子。当 keypoint_indices 未显式指定时,NME 会从 DEFAULT_KEYPOINT_INDICES 中按数据集名查找默认取值(L760-L774):

DEFAULT_KEYPOINT_INDICES = {
    ...
    # coco_wholebody_face corresponding to `right-most` and `left-most`
    # eye keypoints
    'coco_wholebody_face': [36, 45],
    ...
}

即对 coco_wholebody_face 使用第 36 与 45 号关键点——左右外眼角。_get_normalize_factor(L906-L924)计算这两个点的欧氏距离作为归一化因子,源码注释也明确指出:「generally inter-ocular distance measured as the Euclidean distance between the outer corners of the eyes is used」(通常使用左右外眼角之间的欧氏距离,即眼距)。这一归一化方式与人脸对齐领域的通用惯例一致,可以抵消不同人脸尺度带来的误差放大效应。

NME 的计算流程为:process 阶段逐样本收集预测坐标、GT 坐标与可见性 mask;compute_metrics 阶段计算每个可见关键点的平均欧氏误差并除以眼距,最终汇总为单个 NME 标量(L847-L904)。这也是各模型配置中 checkpoint=dict(save_best='NME', rule='less') 的依据——NME 值越低,关键点定位精度越高。

小结

COCO-WholeBody-Face 以 COCO 2017 为基础提供大规模、野外场景的 68 点人脸关键点标注,是 MMPose 人脸对齐任务的主力训练数据集之一。围绕它,仓库提供了完整闭环:数据集元信息(coco_wholebody_face.py)、数据加载实现(CocoWholeBodyFaceDataset)、数据准备指南(2d_face_keypoint.md)、两套模型体系(RTMPose/SimCC 与 Top-down Heatmap)以及 NME 评测实现。实践中只需按目录结构准备 data/coco/ 并安装 xtcocotools,即可复用上述配置快速训练与评测人脸关键点模型。

登录后查看全文
mmpose