melodyExtraction_JDC 的项目扩展与二次开发

项目的基础介绍

melodyExtraction_JDC 是一个基于深度学习的开源项目，主要用于提取歌唱旋律。该项目实现了联合检测与分类（Joint Detection and Classification，简称 JDC）的网络，能够同时进行歌唱声音的检测和音高估计。该研究成果已发表在 Applied Sciences（2019）期刊上，并在多个旋律提取和声音检测数据集上进行了评估，表现优于现有的主流算法。

项目的核心功能

项目的主要功能是利用卷积循环神经网络（Convolutional Recurrent Neural Networks，简称 CRNN）预测歌唱旋律的音高轮廓，并通过辅助网络来提高声音检测的准确性。核心功能包括：

• 主网络：预测音高标签，涵盖高分辨率的声音范围以及非声音状态。
• 辅助网络：利用主网络的层次化特征来检测歌唱声音。
• 联合旋律损失函数：将两个优化过程结合起来，提高旋律提取性能。

项目使用了哪些框架或库？

该项目使用了以下框架或库：

• Python 3.6+：项目的基础编程语言。
• Keras 2.2.2：用于构建深度学习模型的库。
• Librosa 0.6.2：用于短时傅里叶变换（STFT）等音频处理。
• madmom 0.16.1：用于加载音频和重采样。
• Numpy、SciPy：用于数值计算和科学计算。

项目的代码目录及介绍

项目的代码目录结构如下：

• README.md：项目说明文档。
• LICENSE：项目使用的 MIT 许可证。
• melodyExtraction_JDC.py：项目的主程序，用于命令行调用。
• featureExtraction.py：特征提取相关的代码。
• model.py：定义了项目使用的神经网络模型。
• test_audio_file.mp4：用于测试的音频文件。
• weights、notebooks、img 等目录：包含了权重文件、Jupyter 笔记本和图像文件等。

对项目进行扩展或者二次开发的方向

1. 模型优化：可以尝试使用更先进的神经网络架构来改进模型，例如替换为 Transformer 结构，以期望获得更好的音高预测性能。

2. 多乐器识别：目前的模型专注于人声旋律提取，可以扩展模型以识别多种乐器，实现多乐器旋律提取。

3. 实时性能提升：通过优化代码和模型，提高实时处理音频的能力，使模型适用于实时应用场景。

4. 跨平台兼容性：优化项目以支持跨平台运行，例如在 iOS 和 Android 设备上部署。

5. 用户界面开发：为项目开发一个图形用户界面（GUI），使得非技术用户也能轻松使用。

通过这些方向的扩展和二次开发，melodyExtraction_JDC 项目有望在音乐信息检索、音乐制作和教育等多个领域发挥更大的作用。