Whisper-Diarization项目依赖冲突问题分析与解决方案

项目背景

Whisper-Diarization是一个基于Whisper模型的语音转写和说话人分离工具，它结合了多种先进的语音处理技术。在实际部署过程中，用户经常会遇到依赖冲突问题，特别是在Python环境配置阶段。

常见依赖冲突问题

1. 核心依赖冲突

项目主要依赖包括：

• whisperx
• pyannote-audio
• demucs
• ctc-forced-aligner

这些包对torchaudio的版本要求存在冲突：

• whisperx 3.1.1要求torchaudio>=2
• pyannote-audio 3.1.1要求torchaudio>=2.0.0
• demucs 4.1.0a2要求torchaudio<2.1且>=0.8
• ctc-forced-aligner 0.1要求torchaudio>=2.1.0

2. 环境配置问题

用户在不同操作系统上还会遇到：

• Python 3.12中pkgutil.ImpImporter被移除的问题
• setuptools版本不兼容
• distutils模块缺失
• Cython编译问题

解决方案

1. Python版本选择

推荐使用Python 3.10版本，这是经过验证最稳定的版本。Python 3.12由于移除了部分旧有模块，会导致兼容性问题。

2. 创建干净的虚拟环境

使用conda创建独立环境：

conda create -n whisper_diar python=3.10
conda activate whisper_diar

3. 基础依赖安装

在虚拟环境中先安装基础工具：

pip install --upgrade pip setuptools wheel
pip install --upgrade Cython

4. 特定包安装策略

对于冲突的包，采用特定安装顺序和版本控制：

# 先安装torch相关包
pip install torch torchaudio

# 安装特定版本的nemo_toolkit
pip install nemo_toolkit[asr]==1.23.0 --no-build-isolation

# 安装其他依赖
pip install git+https://github.com/m-bain/whisperX.git@78dcfaab51005aa703ee21375f81ed31bc248560
pip install --no-deps git+https://github.com/facebookresearch/demucs#egg=demucs
pip install git+https://github.com/oliverguhr/deepmultilingualpunctuation.git
pip install git+https://github.com/MahmoudAshraf97/ctc-forced-aligner.git

5. 处理huggingface_hub版本问题

pip uninstall huggingface_hub
pip install huggingface-hub==0.20.3

系统级依赖

在Ubuntu/Debian系统上还需要：

sudo apt update && sudo apt install -y cython3 ffmpeg

验证安装

安装完成后，可以运行简单测试脚本验证核心功能是否正常：

import whisperx
import torch
print(torch.__version__)
print(whisperx.__version__)

总结

Whisper-Diarization项目的依赖管理较为复杂，关键在于：

1. 使用Python 3.10环境
2. 创建干净的虚拟环境
3. 控制关键包的特定版本
4. 按正确顺序安装依赖
5. 处理系统级依赖

遵循上述方案，可以成功解决大多数依赖冲突问题，使项目正常运行。对于不同操作系统，可能需要微调部分步骤，但核心思路保持一致。