【亲测免费】 Open-Unmix PyTorch: 音频源分离的强大工具

项目基础介绍

Open-Unmix PyTorch 是一个基于 PyTorch 的开源音乐源分离项目。它旨在为研究人员、音频工程师和艺术家提供一个深度神经网络参考实现，用于将流行音乐分离成四个部分：人声、鼓声、贝斯和其他乐器。该项目的主要编程语言是 Python，依赖于 PyTorch 框架。

核心功能

Open-Unmix PyTorch 的核心功能是音乐源分离。它提供了预训练的模型，这些模型可以直接用于将音乐分解为不同的轨道。以下是项目的一些关键特点：

• 深度神经网络: 基于三层的双向 LSTM 网络进行音频源分离。
• 预训练模型: 包含 umxl、umxhq 和 umx 等模型，这些模型在 MUSDB18 数据集上进行了训练。
• 灵活的输入: 支持时间域信号和短时傅里叶变换的幅度频谱图作为输入。
• 参数化的输出: 使用多通道广义维纳滤波器组合多个源模型，输出分离的音频。

最近更新的功能

Open-Unmix PyTorch 在最近更新中引入了一些新特性和改进：

1. 版本升级: 项目已经升级到与 PyTorch 2.0 兼容的水平，尽管这可能需要调整一些回归测试。
2. 性能提升: 添加了 umxl 模型，这是一个在额外数据上训练的模型，它显著提高了性能，特别是泛化能力。
3. Python 包发布: 发布了新的 Python 包版本，包含了完全可微分版本的 Norbert、改进的音频加载管道和大量错误修复。
4. 预训练语音增强模型: 添加了 Sony 提供的预训练语音增强模型 umxse，该模型在 Voicebank+DEMAND 跨语种数据库的 28 位说话人版本上进行了训练。
5. 在线实验: 提供了在 Google Colab 上的 Jupyter 笔记本，可以在线进行实验和分离音频文件，无需安装设置。

通过这些更新，Open-Unmix PyTorch 继续保持在音乐源分离领域的领先地位，并为用户提供更加灵活和强大的工具。