实时语音交互数字人项目教程

1. 项目介绍

本项目是一个开源的实时语音交互数字人项目，它支持端到端的语音方案（GLM-4-Voice - THG）和级联方案（ASR-LLM-TTS-THG）。用户可以自定义数字人的形象与音色，且无需进行训练。项目支持音色克隆，并能实现低至3秒的首包延迟。

2. 项目快速启动

环境配置

确保你的开发环境满足以下要求：

• 操作系统：Ubuntu 22.04
• Python 版本：3.10
• CUDA 版本：12.2
• PyTorch 版本：2.3.0

安装必要的依赖：

$ git lfs install
$ git clone https://github.com/Henry-23/VideoChat.git
$ conda create -n metahuman python=3.10
$ conda activate metahuman
$ cd video_chat
$ pip install -r requirements.txt

权重下载

本项目需要下载特定的权重文件，可以通过以下方式获取：

# 创空间仓库已设置 git lfs 跟踪权重文件
$ git clone https://github.com/Henry-23/VideoChat.git

# 或者手动下载权重文件到 weights 目录下
# 具体权重文件的下载方法和路径请参考项目 README 文档

启动服务

启动项目服务，运行以下命令：

$ python app.py

3. 应用案例和最佳实践

本项目可以用于多种场景，例如在线客服、虚拟助手、智能对话系统等。以下是一些应用案例和最佳实践：

• 自定义数字人形象：你可以添加自己的数字人形象视频到项目目录中，并在代码中引用，以创建一个具有独特形象的对话系统。
• 音色克隆：通过上传参考音频，可以克隆特定音色，使得数字人的语音更加自然和个性化。
• 性能优化：针对不同的硬件环境，可以调整模型和推理方式，以达到最佳的性能和响应速度。

4. 典型生态项目

本项目的生态系统中包含了以下典型项目：

• ASR (Automatic Speech Recognition)：使用 FunASR 进行自动语音识别。
• LLM (Large Language Model)：采用 Qwen 大语言模型进行自然语言处理。
• End-to-end MLLM (Multimodal Large Language Model)：使用 GLM-4-Voice 实现端到端的语音方案。
• TTS (Text to Speech)：支持 GPT-SoVITS、CosyVoice 和 edge-tts 等多种文本转语音方案。
• THG (Talking Head Generation)：使用 MuseTalk 生成逼真的数字人头像动画。

通过这些典型项目，开发者可以构建出功能丰富、交互自然的实时语音交互数字人应用。