DGNN-PyTorch 的项目扩展与二次开发

项目的基础介绍

DGNN-PyTorch 是一个基于 PyTorch 的开源项目，它实现了 CVPR 2019 论文《Skeleton-Based Action Recognition with Directed Graph Neural Networks》中的方法。该项目主要用于骨骼动作识别，通过构建有向图神经网络（DGNN）来提高动作识别的准确性。项目作者是 kenziyuliu，目前已获得 240 个 Star 和 59 个 Fork。

项目的核心功能

该项目的核心功能是利用骨骼数据，通过有向图神经网络进行动作识别。它支持以下数据集：

• NTU RGB+D 数据集
• Kinetics 骨骼数据集

项目提供了训练和测试的功能，可以分别对空间流和运动流进行训练和测试，并支持模型结果的融合。

项目使用了哪些框架或库？

• Python 3.5 或更高版本
• PyTorch 1.1.0 或更高版本
• NumPy 1.16.4 或更高版本
• SciPy 1.3.0 或更高版本
• TensorboardX 1.8 用于日志记录

项目的代码目录及介绍

项目的主要代码目录如下：

• config/：包含各种配置文件，如训练、测试和模型配置。
• data/：包含数据预处理和生成的脚本，以及数据集。
• feeders/：包含数据加载器，用于读取数据集。
• graph/：定义了有向图的结构。
• model/：包含了 DGNN 模型的定义。
• plots/：存放了一些可视化结果。
• main.py：是项目的主入口，包含训练和测试的流程。
• ensemble.py：用于模型结果的融合。

对项目进行扩展或者二次开发的方向

1. 数据集扩展：目前项目支持的数据集有限，可以尝试添加更多流行的骨骼数据集，如 HCV 数据集等。
2. 模型优化：可以对 DGNN 模型进行优化，尝试不同的神经网络架构，提高模型的识别准确率。
3. 多模态融合：结合视频、音频等其他模态的数据，实现多模态的动作识别。
4. 实时性能优化：优化算法以适应实时动作识别的需求，如减少计算量、使用更快的神经网络。
5. 界面开发：开发一个用户友好的图形界面，方便用户上传数据和查看结果。
6. 部署应用：将模型部署到移动设备或边缘设备，实现嵌入式动作识别应用。

通过上述扩展和二次开发，可以使 DGNN-PyTorch 项目更加完善，并广泛应用于不同的实际场景中。