Orpheus TTS 使用教程

1. 项目介绍

Orpheus TTS 是一个基于 Llama-3b 骨架的开源文本转语音（TTS）系统。该系统展示了使用大型语言模型（LLM）进行语音合成的涌现能力。Orpheus TTS 提供了与闭源模型如 Eleven Labs 和 PlayHT 相比的性能比较，能够在语音的自然度、情感和节奏方面提供超越现有技术的能力。

2. 项目快速启动

要快速启动 Orpheus TTS 项目，请按照以下步骤操作：

首先，克隆项目仓库：

git clone https://github.com/canopyai/Orpheus-TTS.git

接着，进入项目目录并安装所需的包：

cd Orpheus-TTS &&
pip install orpheus-speech

请注意，如果遇到 vllm 包的版本问题，可能需要安装特定版本的 vllm：

pip install vllm==0.7.3

然后，运行以下 Python 代码来生成语音：

from orpheus_tts import OrpheusModel
import wave
import time

# 初始化模型
model = OrpheusModel(model_name="canopylabs/orpheus-tts-0.1-finetune-prod")

# 定义要转换的文本
prompt = '''Man, the way social media has, um, completely changed how we interact is just wild, right? Like, we're all connected 24/7 but somehow people feel more alone than ever. And don't even get me started on how it's messing with kids' self-esteem and mental health and whatnot.'''

# 开始生成语音
start_time = time.monotonic()
syn_tokens = model.generate_speech(prompt=prompt, voice="tara")

# 保存生成的语音到文件
with wave.open("output.wav", "wb") as wf:
    wf.setnchannels(1)
    wf.setsampwidth(2)
    wf.setframerate(24000)
    
    total_frames = 0
    chunk_counter = 0
    for audio_chunk in syn_tokens:
        chunk_counter += 1
        frame_count = len(audio_chunk) // (wf.getsampwidth() * wf.getnchannels())
        total_frames += frame_count
        wf.writeframes(audio_chunk)
    
    duration = total_frames / wf.getframerate()
    end_time = time.monotonic()
    print(f"It took {end_time - start_time} seconds to generate {duration:.2f} seconds of audio")

3. 应用案例和最佳实践

Orpheus TTS 可以应用于多种场景，以下是一些最佳实践：

• 语音合成：使用 Orpheus TTS 生成自然流畅的语音，适用于阅读助手、教育软件、客服机器人等。
• 情感表达：通过添加情感标签，如 <laugh>、<chuckle> 等，可以调整语音的情感色彩，使语音更加生动。
• 实时流式传输：Orpheus TTS 支持实时流式传输，延迟低至200ms，适用于实时语音合成场景。

4. 典型生态项目

Orpheus TTS 的开源生态中，以下是一些典型的相关项目：

• LM Studio API：一个轻量级的客户端，用于在本地运行 Orpheus TTS。
• Fast-API 实现：一个与 Open AI 兼容的 Fast-API 实现。
• HuggingFace Space：由社区成员创建的 HuggingFace Space，便于使用和测试。

以上是 Orpheus TTS 的基本使用教程，希望能帮助您快速上手这个强大的文本转语音系统。