WhisperSpeech: 开源文本转语音系统

WhisperSpeech 是一个基于 Whisper 模型反转的开源文本转语音（TTS）系统。该项目主要由 Python 编程语言实现，结合了先进的深度学习技术，致力于提供高质量、易于定制化的语音合成解决方案。

项目的基础介绍

WhisperSpeech 项目的目标是创建一个类似于 Stable Diffusion 的语音合成系统，既强大又易于定制。该项目使用了一系列开源模型和技术，包括 OpenAI 的 Whisper 模型用于生成语义标记，Meta 的 EnCodec 用于声学建模，以及 Charactr Inc 的 Vocos 作为高质量的声音解码器。WhisperSpeech 允许用户在没有地面真实转录的情况下，通过音频文件训练模型，这使得多语言支持成为可能。

核心功能

WhisperSpeech 的核心功能包括：

• 文本转语音：将文本转换为自然流畅的语音。
• 多语言支持：目前支持英语，并计划扩展到更多语言。
• 语音克隆：基于参考音频文件，克隆特定说话人的声音。
• 性能优化：通过技术创新，实现了比实时速度快12倍的推理性能。

最近更新的功能

WhisperSpeech 最近更新的功能包括：

• 性能优化：通过集成 torch.compile，添加 kv-caching 和调整某些层，提高了推理性能。
• 多语言混合：在单个句子中混合使用多种语言，实现无缝语音转换。
• 语音克隆示例：提供了基于著名演讲的语音克隆示例，如温斯顿·丘吉尔的演讲。
• 模型更新：推出了新的 SD S2A 模型，速度更快，同时保持高音质输出。

WhisperSpeech 项目的持续更新和发展，使其成为一个值得关注和使用的开源文本转语音系统。