OpenPose人体姿态识别项目输出格式详解

概述

OpenPose是一个开源的实时多人2D/3D姿态估计库，能够检测图像或视频中的人体、手部、面部关键点。本文将详细介绍OpenPose项目的输出格式，包括可视化界面、JSON数据结构、关键点排序以及高级功能等。

可视化界面输出

OpenPose的可视化界面会显示原始图像与检测到的姿态叠加的效果。如下图所示，系统能够实时追踪人体的各种姿态动作：

JSON数据结构与可视化映射

OpenPose的JSON输出文件包含一系列关键点，这些关键点的排序与可视化界面的显示位置直接对应。以下是不同身体部位的关键点格式说明：

BODY_25姿态关键点格式

BODY_25模型包含25个身体关键点，是COCO模型的扩展版本，增加了脚部关键点：

COCO姿态关键点格式

COCO模型包含18个身体关键点：

面部关键点格式

面部关键点模型包含70个关键点：

手部关键点格式

每只手包含21个关键点：

JSON输出格式详解

OpenPose提供两种保存输出数据的方式：

1. 标准JSON格式（使用--write_json参数）：

   • 每个JSON文件对应一帧图像
   • 包含people数组，每个元素代表一个检测到的人体
   • 主要字段：
     • pose_keypoints_2d：2D姿态关键点(x,y,置信度)
     • face_keypoints_2d：2D面部关键点
     • hand_left_keypoints_2d：左手2D关键点
     • hand_right_keypoints_2d：右手2D关键点
     • 3D关键点字段（需启用3D模式）
     • part_candidates：候选关键点（高级功能）

2. OpenCV格式（使用--write_keypoint参数，已弃用）：

   • 仅保存2D身体关键点
   • 使用OpenCV的FileStorage格式（JSON/XML/YML）

关键点编程接口

C++/Python中的关键点排序

在编程接口中，关键点的排序与可视化显示一致。可以通过API获取不同模型的关键点映射关系：

C++接口示例

#include <openpose/pose/poseParameters.hpp>
const auto& poseBodyPartMappingBody25 = getPoseBodyPartMapping(PoseModel::BODY_25);

Python接口示例

poseModel = op.PoseModel.BODY_25
print(op.getPoseBodyPartMapping(poseModel))

Datum中的关键点格式（高级）

对于使用C++ API的高级开发者，Datum类中存储关键点的三种数据结构：

1. poseKeypoints：姿态关键点
2. faceKeypoints：面部关键点
3. handKeypoints：手部关键点（左手和右手）

访问示例：

// 访问姿态关键点
const auto x = poseKeypoints[{person, part, 0}];
const auto y = poseKeypoints[{person, part, 1}];
const auto score = poseKeypoints[{person, part, 2}];

读取保存的结果

OpenPose使用标准格式(JSON, PNG, JPG等)保存结果，可以使用各种编程语言的库来读取。对于C++开发者，可以使用fileStream.hpp中的工具函数：

#include <openpose/filestream/fileStream.hpp>
const auto data = loadData("result.json");  // 加载JSON数据
const auto image = loadImage("output.png"); // 加载图像

高级功能

相机矩阵输出格式

使用相机标定或3D模块时，相机矩阵的输出格式遵循特定规范，详细说明见相关文档。

热图输出

热图(heatmaps)是OpenPose内部使用的一种中间表示，可用于高级应用场景。热图的详细说明见相关文档。

总结

本文详细介绍了OpenPose项目的输出格式，包括可视化界面、JSON数据结构、编程接口以及高级功能。理解这些输出格式对于开发基于OpenPose的应用程序至关重要，无论是进行简单的姿态分析还是开发复杂的动作识别系统。