dubbing-engine 的安装和配置教程

1. 项目基础介绍和主要编程语言

dubbing-engine 是一个开源的视频和音频翻译及配音引擎。它能够翻译并克隆原始声音，添加字幕，并且同步唇部动作。该项目的主要编程语言是 TypeScript。

2. 项目使用的关键技术和框架

项目使用了以下关键技术和框架：

• TypeScript：核心编程语言。
• Bun：JavaScript 运行时和工具集。
• OpenAI：用于翻译和文本改编。
• Gladia：用于音频转录。
• Eleven Labs：用于声音克隆和语音生成。
• Lalal.ai：用于音频分离。
• SyncLab：用于唇部同步。

3. 项目安装和配置的准备工作及详细安装步骤

准备工作

在开始安装之前，请确保您的系统中已安装以下软件：

• Node.js：可以从 Node.js 官网 下载并安装。
• Bun：可以在命令行中运行 curl -fsSL https://bun.sh/install | bash 来安装。
• FFmpeg：根据您的操作系统，选择以下安装方法：
  • macOS：使用 Homebrew 执行 brew install ffmpeg。
  • Windows：从 FFmpeg 官网 下载最新构建版本，解压并将 bin 文件夹添加到系统路径。
  • Linux：使用包管理器（如 Ubuntu/Debian）执行 sudo apt update && sudo apt install ffmpeg。

此外，您还需要获取以下服务的 API 密钥：

• OpenAI
• Gladia
• Eleven Labs
• Lalal.ai
• SyncLab（可选，如果需要唇部同步功能）
• AWS（如果需要唇部同步功能）

安装步骤

1. 克隆项目仓库到本地：

   git clone https://github.com/kevinrss01/dubbing-engine.git
   cd dubbing-engine
   

2. 创建并配置 .env 文件：

   在项目根目录下创建一个 .env 文件，并填入您的 API 密钥：

   PORT=4000
   OPENAI_API_KEY=your_openai_api_key_here
   GLADIA_API_KEY=your_gladia_api_key_here
   ELEVEN_LABS_API_KEY=your_eleven_labs_api_key_here
   LALAL_LICENSE_KEY=your_lalal_license_key_here
   SYNC_LAB_API_KEY=your_sync_lab_api_key_here
   #AWS (For lipsync)
   AWS_S3_REGION=your_aws_s3_region_here
   AWS_ACCESS_KEY_ID=your_aws_access_key_id_here
   AWS_SECRET_ACCESS_KEY=your_aws_secret_access_key_here
   AWS_BUCKET_NAME=your_aws_bucket_name_here
   

3. 运行启动脚本：

   在命令行中运行以下命令启动项目：

   ./start.sh
   

   该脚本会检查所需的依赖项，验证环境变量，安装必要的包，并引导您完成配音过程。

按照以上步骤操作，您应该能够成功安装并配置 dubbing-engine 项目。