DensePose COCO 2019 评估指南:GPS / GPSm 指标与 denseposeCOCOeval 评估代码实战
DensePose COCO 2019 评估指南:GPS / GPSm 指标与 denseposeCOCOeval 评估代码实战
本文以 2019 COCO DensePose 官方评估文档 为主体,结合仓库中的 densepose_cocoeval.py 实现源码,系统讲解 DensePose 多人体姿态估计任务的相似度度量(Geodesic Point Similarity, GPS)、改进版 Masked GPS(GPSm)、AP/AR 指标体系,以及如何在公开验证集上本地运行评估、如何为隐藏标注的测试集准备结果并上传评测服务器。读完本文,你将能够理解 DensePose 官方指标的数学定义与设计动机,掌握评估代码的数据加载、匹配与汇总全流程,并能够独立产出并提交一份格式合规的竞赛结果文件。
背景:DensePose 任务为什么需要新的评估度量
DensePose 任务(多人体 DensePose Task)要求算法在无约束、高难度的自然场景图像中同时完成三件事:检测出图像中的人、分割出人体区域,以及把属于人体的每一个图像像素映射到模板 3D 模型的表面(即建立像素与人体表面之间的稠密对应关系)。也就是说,输出不仅是一个检测框、一个分割掩膜或一组稀疏关键点,而是一张将所有人像素映射到 3D 人体表面的稠密对应图。
DensePose 的官方评估沿用了 COCO Challenge 中目标检测与关键点估计所用的核心指标体系——平均精度(Average Precision, AP)与平均召回(Average Recall, AR)及其变体。这套体系的核心是"真实对象与预测对象之间的相似度度量":
- 在目标检测中,IoU(Intersection over Union,交并比)是相似度度量,既用于检测框也用于分割区域,对 IoU 阈值化即可判定真实框与预测框是否匹配,进而计算 precision-recall 曲线;
- 在关键点检测中,相似度度量是 OKS(Object Keypoint Similarity,对象关键点相似度)。
DensePose 的输出既不是"框"也不是"点集",而是稠密的表面坐标,因此官方引入了一个与 IoU、OKS 地位完全对等的相似度度量——Geodesic Point Similarity(GPS,测地点相似度),并进一步推出其掩膜加权版本 Masked GPS(GPSm)。2019 年挑战赛的关键变化正是在于:评估指标由 2018 年的 GPS 改为 GPSm,且归一化因子改为按身体部位(per-part)计算,因此 2019 年的 AP 数值与论文中使用固定 K = 0.255 得到的 AP 数值不再可比(详见下文)。
Geodesic Point Similarity(GPS):基于模板网格测地距离的相似度
GPS 的定义基于模板网格(template mesh)上的测地距离:对同一图像点,比较标注的真实表面点与算法估计的表面坐标之间的测地距离,形式化如下:
其中:
- 是估计表面点 与真实表面点 之间的测地距离(在模板网格曲面上沿表面的最短路径长度,而非欧氏直线距离);
- 是按部位归一化因子(per-part normalization factor),定义为该部位上各点之间测地距离的均值;
- 是标注点集合, 为该集合的大小。
值得注意的是,2019 年文档专门给出了红色提示:由于采用了新的按部位归一化(per-part normalization),AP 数值与论文中基于固定 K = 0.255 报告的数值不一致。也就是说, 不再是一个全局常量,而是随点所在的表面部位而变化的量。这一设计是有物理直觉的:不同身体部位的尺度差异很大(例如躯干与手指),用全局固定带宽归一化会对小部位过于苛刻、对大部位过于宽松,按部位归一化可以平衡各部位之间的误差贡献。
在评估代码 densepose_cocoeval.py 中,与按部位归一化对应的常数就存放在 _loadGEval 方法中:
# Mean geodesic distances for parts.
self.Mean_Distances = np.array([0, 0.351, 0.107, 0.126, 0.237, 0.173, 0.142, 0.128, 0.150])
self.CoarseParts = np.array([0, 1, 1, 2, 2, 3, 3, 4, 4, 4, 4, 5, 5, 5, 5,
6, 6, 6, 6, 7, 7, 7, 7, 8, 8])
CoarseParts 把 24 个表面 patch 粗分为 9 个部位组,每个 GT 点先映射到其所在 patch,再由 CoarseParts 找到部位组,最后用 Mean_Distances 中的对应均值作为该点的 。从 computeOgps 方法的实现可以看到完整的计算链:
# Find the mean geodesic normalization distance for each GT point, based on which part it is on.
Current_Mean_Distances = self.Mean_Distances[self.CoarseParts[self.Part_ids[cVertsGT[cVertsGT>0].astype(int)-1]]]
# Compute gps
ogps_values = np.exp(-(dist**2)/(2*(Current_Mean_Distances**2)))
if len(dist)>0:
ogps = np.sum(ogps_values)/ len(dist)
这正好对应公式中的 与对全部标注点取平均。
GPS 的固有局限:不惩罚误检(false positives)
文档明确指出,GPS 存在一个明显的设计局限:它只在一组预先定义的标注点上估计,因此不会惩罚"虚假检测"(spurious detections / false positives)。也就是说,如果一个算法把整张图的所有像素都判为前景(foreground),虽然这些多出来的前景像素不参与 GPS 点对点的比较,但由于其没有真实标注点与之对应,GPS 分数并不会下降——这反而会错误地"奖励"那种把所有像素都分类为前景的预测。这正是引入 GPSm 的动机。
Masked Geodesic Point Similarity(GPSm):GPS 与掩膜 IoU 的几何平均
为了同时惩罚"对应关系不准"和"前景分割不准"两类错误,官方引入了 Masked Geodesic Point Similarity(GPSm),其定义为 GPS 与前景掩膜 IoU 的几何平均:
其中:
- GPS 即上一节定义的测地点相似度;
- 为真实前景掩膜, 为预测前景掩膜;
- 为两者之间的交并比 IoU。
由于 GPSm 引入了 的乘法耦合,一个算法若把所有像素都判为前景,其掩膜 IoU 会很低(因为 远大于 ,分母 急剧膨胀),从而拉低整体 GPSm 分数。这样 GPSm 就能同时约束"表面坐标估计的精度"与"前景分割的正确性"两个维度。
在评估代码的匹配环节中,GPSm 是通过 GPS 相似度矩阵与稠密掩膜 IoU 矩阵的逐元素几何平均来计算的,见 evaluateImg 方法中的匹配逻辑:
if self.calc_mode=='GPSm':
new_iou = np.sqrt(iousM[dind,gind] * ious[dind,gind])
elif self.calc_mode=='IOU':
new_iou = iousM[dind,gind]
elif self.calc_mode=='GPS':
new_iou = ious[dind,gind]
其中 iousM 来自 computeDPIoU(真实/预测前景掩膜的 IoU,即 ),ious 来自 computeOgps(GPS 值)。evaluate() 方法支持通过 calc_mode 参数在 GPSm(默认)、GPS、IOU 三种模式之间切换,2019 年挑战赛的主指标即为默认的 GPSm。
官方指标定义:AP 及其变体
官方使用以下指标刻画一个稠密人体姿态估计算法在 COCO 上的性能:
AP % AP averaged over GPSm values 0.5 : 0.05 : 0.95 (primary challenge metric)
AP-50 % AP at GPSm=0.5 (loose metric)
AP-75 % AP at GPSm=0.75 (strict metric)
AP-m % AP for medium detections: 32² < area < 96²
AP-l % AP for large detections: area > 96²
- AP(主挑战指标):在 GPSm 阈值序列
0.5 : 0.05 : 0.95(即 0.50、0.55、…、0.95,共 10 档)上取平均的 AP。这沿用了 COCO 检测任务的标准做法——通过在不同相似度阈值下计算 precision-recall 曲线并求均值,得到一个对阈值不敏感的总体评分。 - AP-50:GPSm = 0.5 处的 AP,宽松指标。
- AP-75:GPSm = 0.75 处的 AP,严格指标。
- AP-m:中等尺寸检测对象的 AP,面积区间为 。
- AP-l:大尺寸检测对象的 AP,面积 。
这些阈值与面积区间在评估代码的 Params.setUvParams() 中均有对应定义:
self.iouThrs = np.linspace(.5, 0.95, np.round((0.95 - .5) / .05) + 1, endpoint=True)
self.recThrs = np.linspace(.0, 1.00, np.round((1.00 - .0) / .01) + 1, endpoint=True)
self.maxDets = [20]
self.areaRng = [[0 ** 2, 1e5 ** 2], [32 ** 2, 96 ** 2], [96 ** 2, 1e5 ** 2]]
self.areaRngLbl = ['all', 'medium', 'large']
iouThrs 即上文 10 档 GPSm 阈值;recThrs 为 0 到 1、步长 0.01 的 101 个召回率采样点;areaRng 定义 all/medium/large 三档面积区间(与文档的 AP-m、AP-l 对应;注意与检测任务的 small/medium/large 四档不同,UV 评估默认不含 small 档)。
summarize() 方法中的 _summarizeUvs() 会输出 18 项统计量:包括 maxDets[0]=20 下的 AP(全部 10 档 iouThr 平均)、AP@0.5、AP@0.55 … AP@0.95(逐档输出)、medium/large 分档 AP、AR 及其分档,与文档列出的指标体系一一对应。
评估代码使用说明
官方评估代码位于仓库 densepose_cocoeval.py(2019 挑战赛目录)以及仓库内 detectron/datasets/densepose_cocoeval.py(用于本地训练/验证流程的副本)。该代码可以直接在公开的 COCO DensePose 验证集上获得评估结果;对于标注隐藏的测试集,则必须将生成的结果上传到评测服务器,服务器使用与本地完全相同的评估代码进行评分。
运行评估前的准备工作:
- 准备结果文件:将你的算法结果整理成 results_format.md 所规定的格式;
- 准备评估数据:评估需要三个预计算文件(
SMPL_subdiv.mat、SMPL_SUBDIV_TRANSFORM.mat、Pdist_matrix.mat),由_loadGEval()从evalDataDir目录加载。
从源码看评估主流程
denseposeCOCOeval 类完整复刻了标准 COCOeval 的"评估-累积-汇总"三段式接口:
E = denseposeCOCOeval(evalDataDir, cocoGt, cocoDt, iouType='uv', sigma=1.)
E.evaluate() # 逐图像、逐类别运行 per-image 评估
E.accumulate() # 聚合逐图像结果,得到 precision/recall 张量
E.summarize() # 打印汇总指标
各阶段职责如下:
evaluate():按图像、面积区间、最大检测数循环调用evaluateImg(),为每种评估模式(calc_mode='GPSm'|'GPS'|'IOU')计算相似度矩阵。它还支持一组误差分析用的上界开关:UB_geo_iuvgt、UB_geo_igt_uv0、UB_geo_igt、UB_geo_uv0(例如把估计的 I 或 UV 换成 GT 值,用于判断误差来自哪一环),以及check_scores(仅对uv评估生效的最优分数误差分析)。computeOgps():计算每对 (detection, ground truth) 之间的 GPS。核心步骤包括:将 GT 标注点(dp_x/dp_y,以 256×256 归一化)投影到检测框坐标系;从检测的 UV 图(dt['uv']的通道 1、2,除以 255 转回浮点)取估计的 U、V;按 24 个 patch 分别找到子采样网格上离估计 UV 最近的顶点(findAllClosestVerts,通过scipy.spatial.distance.cdist计算);再通过getDistances从预计算的成对测地距离矩阵Pdist_matrix中查询两点间的测地距离;最后按部位归一化指数求和取平均。computeDPIoU():计算稠密前景掩膜 IoU(GPSm 所需的 )。GT 掩膜由dp_masks(14 个部位的 256×256 RLE 掩膜,GetDensePoseMask拼成带部位编号的掩膜后 resize 到 bbox 尺寸)重建;预测掩膜由dt['uv']的第一通道(patch index > 0 视为前景)重建;两者均通过pycocotools.maskUtils编码为 RLE 后计算 IoU。evaluateImg():以 IoU 阈值iouThrs为匹配门限,对每个检测框执行贪心匹配(先按置信度降序排列,再按new_iou = sqrt(iouM * iou)寻找最优 GT 匹配),并对 ignore 区域、crowd、面积区间外检测等进行处理,输出dtMatches/gtMatches/dtIgnore等逐图像结果。accumulate():将逐图像结果拼接,按检测分数全局降序排序,计算累积 TP/FP,进而得到 recall 与 precision 曲线,在 101 个召回率采样点上插值得到precision[T, R, K, A, M]张量。summarize():按iouType(segm/bbox/keypoints/uv)选择对应的汇总函数,打印 AP/AR 全套指标。
关于 ignore 区域的处理值得一提:_prepare() 中的 _getIgnoreRegion 会读取图像标注里的 ignore_regions_x/ignore_regions_y 并合并成掩膜;_checkIgnore 对无 UV 的检测(纯框)用阈值 ignoreThrBB = 0.7 判断,对带 UV 的检测用前景掩膜与 ignore 区域的 IoU 阈值 ignoreThrUV = 0.9 判断,从而剔除落在忽略区域内的检测。UV 类型评估中 GT 若缺少 dp_x 字段也会被标记为 ignore(gt['ignore'] = ('dp_x' in gt)==0)。
测地距离的预计算加速
文档特别说明:测地距离是在 SMPL 模型的子采样版本上预先计算的,以加快评估速度;实际计算流程是"先为估计的 UV 值在子采样网格中找到最近的顶点,再计算这些顶点之间的测地距离"。
这一策略在代码中体现为三处:
_loadGEval()加载SMPL_subdiv.mat(子采样网格的 U/V 坐标与 24 个 patch 归属Part_ID_subdiv)、SMPL_SUBDIV_TRANSFORM.mat(顶点索引变换PDIST_transform)与Pdist_matrix.mat(预计算的成对测地距离矩阵);findAllClosestVerts()按 patch 遍历,用ssd.cdist在子采样网格 UV 与估计 UV 之间找最近顶点,得到cVerts(估计)与cVertsGT(GT);getDistances()通过PDIST_transform将顶点索引映射到压缩索引后,以k公式查表Pdist_matrix得到成对测地距离(网格顶点数n = 27554,对应三角矩阵压缩存储的下标换算)。
换句话说,评估过程中不再实时求解曲面上的最短路径,而是复用离线预计算的测地距离矩阵做查表,这正是评估能够快速完成的关键。
结果格式与编码
评估前需要把结果整理成 results_format.md 规定的 JSON 格式。每个结果对象必须包含:
image_id:产生该结果的图像 id(一张图通常对应多个结果);category_id、bbox、score等字段与标注格式一致(bbox为从图像左上角起算、0 索引的浮点数,建议四舍五入到十分之一像素以减小 JSON 体积);uv_shape与uv_data:存放指定 bbox 内的 patch 索引与 UV 坐标稠密估计。uv_shape为(3, height, width),其中height/width应与 bbox 尺寸一致;uv_data为 PNG 压缩后的 patch 索引与 U、V 坐标(缩放到 0–255)。
全部结果聚合为一个结果对象数组,整体以单个 JSON 文件存储。仓库提供了两个配套工具:
detectron/datasets/json_dataset_evaluator.py:推理后把稠密 UV 预测打包成 pkl 文件(_coco_body_uv_results_one_category将每张图的检测框与 UV 预测组装成{'image_id', 'category_id', 'uv', 'bbox', 'score'}结构,并将 UV 的 U/V 通道乘以 255 转 uint8);- encode_results_for_competition.py:把 pkl 结果转换为 PNG 压缩的 JSON 提交文件,其
_encodePngData将(3, M, N)的 uint8 数组用 PIL 以最高压缩率存为 PNG 并做 base64 编码。
本地评估与服务器提交的完整流程
在验证集上本地评估
由于验证集标注公开,可以直接在本地跑官方评估代码,流程大致为:
- 下载 COCO DensePose 验证集标注(数据获取脚本 等可参考仓库中的 DensePoseData 目录);
- 运行模型推理,输出 pkl 格式的结果(参考 infer.py、test_net.py 与 json_dataset_evaluator.py 中
_do_body_uv_eval的调用方式); - 以
iouType='uv'构造denseposeCOCOeval,依次调用evaluate()、accumulate()、summarize()获得 GPSm 全套 AP/AR 指标。
_do_body_uv_eval 中的典型用法(json_dataset_evaluator.py)展示了如何在训练/测试流程内集成 UV 评估:
ann_type = 'uv'
imgIds = json_dataset.COCO.getImgIds()
imgIds.sort()
coco_dt = json_dataset.COCO.loadRes(res)
test_sigma = 0.255
coco_eval = denseposeCOCOeval(json_dataset.COCO, coco_dt, ann_type, test_sigma)
coco_eval.params.imgIds = imgIds
coco_eval.evaluate()
coco_eval.accumulate()
coco_eval.summarize()
注意其中传入的 test_sigma = 0.255 即为论文版本的固定 K 值,与 2019 官方评测使用的按部位归一化不同——这一点再次印证了文档中的提示:按部位归一化后的 AP 与论文固定 K=0.255 的 AP 不可直接比较。
在测试集上提交评测
测试集标注对参赛者隐藏,必须通过评测服务器评分(服务器与本地使用同一套代码)。提交步骤(依据 upload.md 整理)包括:
- 在 CodaLab 创建账号,仔细阅读 COCO 挑战赛的参赛与测试集使用准则;
- 按 results_format.md 准备合规的 JSON 结果文件;
- 按命名规范命名:
densepose_[subset]_[alg]_results.json,其中[subset]为val或test,[alg]为算法名;再将其打包为同名 zip:densepose_[subset]_[alg]_results.zip; - 在 CodaLab 评测服务器页面进入 "Participate" → "Submit / View Results",选择子集、填写字段并上传 zip;服务器处理可能耗时(约 20 分钟到数小时),可通过 "Refresh Status" 查看状态;
- 提交信息中务必填写 "Team name"、"Method description"、"Publication URL" 等字段,并在用户设置中添加团队成员;方法描述中强制声明所有使用的外部数据,建议同时提供测试集上的性能分解(如单模型 vs 集成)、运行时间等信息;
- 评测完成后可下载打分输出(zip 内含
scores.txt),并可自主选择是否将结果公开展示到 CodaLab 排行榜(同一时刻仅一条结果可公开)。
与 2018 版指标的关键差异
2019 挑战赛相对 2018 版的评估有两处核心变化(详见 2018 与 2019 两个目录下的 evaluation.md 对比):
- 引入 GPSm 作为主指标:2018 版以 GPS 为主指标,2019 版改为 GPS 与前景掩膜 IoU 的几何平均 GPSm,以惩罚把所有像素都判为前景的虚假检测;
- 按部位归一化替代固定 K:GPS 公式中的 从论文中的固定 K = 0.255 改为按身体部位(24 个 patch / 9 个粗部位组)的平均测地距离归一化,因此 2019 的 AP 数值与论文数值不可直接比较。
这两点直接影响了模型调参与论文结果复现时的数值口径,使用官方代码评估时务必注意当前版本默认采用的是 GPSm + 按部位归一化。
小结
- GPS:在模板网格上以测地距离衡量表面坐标估计精度,采用按部位归一化因子 ;
- GPSm:GPS 与前景掩膜 IoU 的几何平均 ,同时惩罚对应误差与分割误差,是 2019 挑战赛主指标;
- 指标体系:AP(GPSm 0.5:0.05:0.95 平均)、AP-50、AP-75、AP-m、AP-l,由 densepose_cocoeval.py 的
Params.setUvParams()与summarize()完整实现; - 评估流程:验证集可本地运行官方代码,测试集需按 results_format.md 准备 JSON 并上传 CodaLab 服务器,服务器使用同一套评估代码;
- 关键实现细节:测地距离在 SMPL 子采样网格上预计算并查表加速;GT 掩膜由
dp_masks重建、预测掩膜由 UV 图首通道重建,IoU 经 RLE 编码计算;ignore 区域通过ignoreThrBB/ignoreThrUV阈值剔除。
如需进一步了解标注的字段语义(dp_I/dp_U/dp_V/dp_masks 等),可阅读 data_format.md;需要编写结果生成代码时可参考 encode_results_for_competition.py 与 json_dataset_evaluator.py;竞赛参与流程的整体说明见 readme.md 与 upload.md。