Linly-Dubbing项目安装与配置指南

1. 项目基础介绍

Linly-Dubbing是一个开源的多语言AI配音/翻译工具，它受到YouDub-webui的启发，并进行了进一步的扩展和优化。此项目旨在通过集成Linly-Talker的数字人唇同步技术，提供多样化和高质量的视频配音选项，从而创造出更加自然的多种语言视频体验。

该项目主要使用Python编程语言。

2. 项目使用的关键技术和框架

• AI语音识别：采用先进的AI技术进行精确的语音到文本转换和说话人识别。
• 大型语言模型翻译：使用领先的如GPT等语言模型进行快速准确翻译，确保专业质量。
• AI语音克隆：利用前沿的语音克隆技术生成与原视频音调、情感接近的语音。
• 数字人唇同步技术：使配音与视频画面同步，增强真实感和互动性。
• 框架和库：PyTorch、ffmpeg、CosyVoice、WhisperX、FunASR等。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统中已经安装了以下环境和依赖：

• Python 3.10
• PyTorch
• CUDA
• ffmpeg

安装步骤

1. 克隆项目仓库到本地机器并初始化子模块：

   git clone https://github.com/Kedreamix/Linly-Dubbing.git --depth 1
   cd Linly-Dubbing
   git submodule update --init --recursive
   

2. 创建新的Python环境并安装所需依赖：

   conda create -n linly_dubbing python=3.10 -y
   conda activate linly_dubbing
   cd Linly-Dubbing/
   conda install ffmpeg==7.0.2 -c conda-forge
   pip install --upgrade pip
   pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
   

   根据您的CUDA版本，使用以下命令之一安装PyTorch和相关库：

   • 对于CUDA 11.8：

     pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118
     

   • 对于CUDA 12.1：

     pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121
     

   如果您希望使用conda安装PyTorch，可以使用以下命令：

   • 对于CUDA 11.8：

     conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia
     

   • 对于CUDA 12.1：

     conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia
     

   注意：安装过程可能非常缓慢。

   接下来，安装剩余的项目依赖：

   conda install -y pynini==2.1.5 -c conda-forge
   pip install -r requirements.txt
   pip install -r requirements_module.txt
   

   如果在安装过程中遇到错误“Could not load library libcudnn_ops_infer.so.8”，请按照以下步骤修复：

   export LD_LIBRARY_PATH=$(python3 -c 'import os; import torch; print(os.path.dirname(os.path.dirname(torch.__file__)) + "/nvidia/cudnn/lib")'):$LD_LIBRARY_PATH
   

3. 配置环境变量：

   在项目根目录下，将env.example文件重命名为.env，并填写以下变量：

   • OPENAI_API_KEY：您的OpenAI API密钥，通常格式为sk-xxx。
   • MODEL_NAME：您使用的模型名称，如gpt-4或gpt-3.5-turbo。
   • OPENAI_API_BASE：如果您使用的是自托管的OpenAI模型，请在此处提供相应的API基础URL。
   • HF_TOKEN：您的Hugging Face API令牌，用于访问和下载模型。
   • HF_ENDPOINT：一个自定义的Hugging Face端点，如果您遇到问题可以指定。

以上步骤完成后，您就可以开始使用Linly-Dubbing项目了。