DWPose 项目使用教程

1. 项目目录结构及介绍

DWPose/
├── ControlNet-v1-1-nightly/
│   ├── annotator/
│   │   └── ckpts/
│   ├── gradio_dw_open_pose.py
│   └── dwpose_infer_example.py
├── mmpose/
│   ├── configs/
│   ├── data/
│   ├── tools/
│   ├── video2image.py
│   ├── add_cat.py
│   ├── pth_transfer.py
│   └── ...
├── resources/
├── INSTALL.md
├── LICENSE
├── README.md
└── ...

目录结构说明

• ControlNet-v1-1-nightly/: 包含与 ControlNet 相关的文件和脚本，如预处理脚本和推理示例。

  • annotator/ckpts/: 存放预训练模型文件。
  • gradio_dw_open_pose.py: 用于启动 Gradio 界面的脚本。
  • dwpose_infer_example.py: 推理示例脚本。

• mmpose/: 包含 MMPose 框架的核心代码和配置文件。

  • configs/: 存放模型配置文件。
  • data/: 存放数据集文件。
  • tools/: 包含训练和测试脚本。
  • video2image.py: 视频转图像的脚本。
  • add_cat.py: 添加类别到 UBody 数据集的脚本。
  • pth_transfer.py: 模型转换脚本。

• resources/: 存放项目资源文件。

• INSTALL.md: 安装指南。

• LICENSE: 项目许可证。

• README.md: 项目介绍和使用说明。

2. 项目启动文件介绍

gradio_dw_open_pose.py

该文件用于启动 Gradio 界面，方便用户通过图形界面进行推理操作。

# 启动 Gradio 界面
python gradio_dw_open_pose.py

dwpose_infer_example.py

该文件是一个推理示例脚本，用户可以通过该脚本进行单张图片的推理操作。

# 运行推理示例
python dwpose_infer_example.py

3. 项目的配置文件介绍

configs/ 目录

该目录下存放了各种模型的配置文件，包括训练和测试的配置。

• configs/distiller/ubody/s1_dis/rtmpose_x_dis_l__coco-ubody-256x192.py: 第一阶段蒸馏训练的配置文件。
• configs/distiller/ubody/s2_dis/dwpose_l-ll__coco-ubody-256x192.py: 第二阶段蒸馏训练的配置文件。
• configs/wholebody_2d_keypoint/rtmpose/ubody/rtmpose-l_8xb64-270e_ubody-wholebody-256x192.py: 测试配置文件。

配置文件示例

# 示例配置文件
model = dict(
    type='TopDown',
    backbone=dict(
        type='HRNet',
        in_channels=3,
        extra=dict(
            stage1=dict(...),
            stage2=dict(...),
            stage3=dict(...),
            stage4=dict(...),
        ),
    ),
    keypoint_head=dict(...),
    train_cfg=dict(...),
    test_cfg=dict(...),
)

data_cfg = dict(
    image_size=[256, 192],
    heatmap_size=[64, 48],
    num_output_channels=17,
    num_joints=17,
    dataset_channel=list(range(17)),
    inference_channel=list(range(17)),
)

train_pipeline = [...]
test_pipeline = [...]

data = dict(
    samples_per_gpu=32,
    workers_per_gpu=2,
    train=dict(...),
    val=dict(...),
    test=dict(...),
)

配置文件说明

• model: 定义模型的结构，包括主干网络、关键点头部等。
• data_cfg: 定义数据处理的相关配置，如图像尺寸、热图尺寸等。
• train_pipeline: 定义训练时的数据处理流程。
• test_pipeline: 定义测试时的数据处理流程。
• data: 定义数据集的相关配置，如批量大小、数据加载器等。

通过这些配置文件，用户可以自定义模型的训练和测试过程，以适应不同的需求。