HD-GCN 开源项目使用教程

项目介绍

HD-GCN（Hierarchically Decomposed Graph Convolutional Networks）是一个用于基于骨架的动作识别的开源项目。该项目在ICCV 2023上被提出，旨在通过层次分解的图卷积网络（HD-GCN）架构来提高动作识别的性能。HD-GCN通过将每个关节节点分解为多个集合，提取主要的结构相邻和远距离边，并使用这些边来构建一个包含这些边的HD-Graph。此外，项目还引入了注意力引导的层次聚合（A-HA）模块，以突出HD-Graph的主导层次边集。

项目快速启动

环境准备

首先，确保你的环境中安装了以下依赖：

• Python >= 3.6
• PyTorch >= 1.10.0
• PyYAML == 5.4.1
• torchpack == 0.2.2
• matplotlib
• einops
• sklearn
• tqdm
• tensorboardX
• h5py

你可以使用以下命令安装这些依赖：

pip install -e torchlight

数据准备

下载所需的三个数据集：

1. NTU RGB+D 60 Skeleton
2. NTU RGB+D 120 Skeleton
3. NW-UCLA

将下载的数据集解压到指定目录：

/data/nturgbd_raw

数据处理

生成NTU RGB+D 60或NTU RGB+D 120数据集：

cd /data/ntu
# 获取每个表演者的骨架数据
python get_raw_skes_data.py
# 去除不良骨架
python get_raw_denoised_data.py
# 将骨架转换到第一帧的中心
python seq_transformation.py

训练与测试

训练

以NTU RGB+D 60交叉主体为例，训练HD-GCN（joint CoM 1）：

python main.py --config /config/nturgbd60-cross-subject/joint_com_1.yaml --device 0

测试

测试已训练的模型：

python main.py --config <work_dir>/config.yaml --work-dir <work_dir> --phase test --save-score True --weights <work_dir>/xxx.pt --device 0

应用案例和最佳实践

HD-GCN在多个大型数据集上展示了其优越的性能，包括NTU-RGB+D 60、NTU-RGB+D 120和Northwestern-UCLA。通过六种方式的集成方法，HD-GCN在没有任何运动流的情况下，仅使用关节和骨骼流，就实现了最先进的性能。

最佳实践

1. 数据预处理：确保数据预处理步骤正确执行，以避免不良数据对模型性能的影响。
2. 模型训练：使用适当的配置文件进行模型训练，并监控训练过程中的损失和准确率。
3. 模型测试：在测试阶段，确保使用与训练阶段相同的配置，以获得一致的结果。

典型生态项目

HD-GCN项目基于多个开源项目构建，包括2s-AGCN和CTR-GCN。数据处理部分借鉴了SGN和HCN项目。这些项目共同构成了一个丰富的生态系统，为基于骨架的动作识别提供了强大的工具和方法。

相关项目

• 2s-AGCN：双流自适应图卷积网络，用于动作识别。
• CTR-GCN：基于图卷积网络的动作识别模型。
• SGN：基于骨架的动作识别模型。
• HCN：基于层次卷积网络的动作识别模型。

通过结合这些项目，HD-GCN能够更好地理解和识别复杂的动作模式，从而在多个数据集上取得优异的性能。