Orpheus-TTS 模型提示词构建与停止标记解析

模型提示词结构详解

Orpheus-TTS作为一款先进的文本转语音模型，其提示词(prompt)构建方式直接影响生成语音的质量和效果。经过对项目代码的分析，我们发现模型采用了多层次的标记(token)结构来组织输入信息。

完整的对话轮次(turn)结构包含以下关键标记：

1. SOH(Start Of Human) - 标记ID 128259，表示人类输入开始
2. SOT(Start Of Text) - 标记ID 128000，表示文本内容开始
3. 实际文本内容 - 用户输入的文本及语音ID信息
4. EOT(End Of Text) - 标记ID 128009，表示文本内容结束
5. EOH(End Of Human) - 标记ID 128260，表示人类输入结束
6. SOA(Start Of AI) - 标记ID 128261，表示AI响应开始
7. SOS(Start Of Speech) - 标记ID 128257，表示语音SNAC标记开始
8. SNAC标记序列 - 实际的语音编码标记
9. EOS(End Of Speech) - 标记ID 128258，表示语音内容结束
10. EOA(End Of AI) - 标记ID 128262，表示AI响应结束

实际应用中的提示词构建

在实际使用中，开发者需要特别注意以下几点：

1. 语音生成模式：当需要生成语音时，提示词应构建至SOS标记(128257)为止，并将停止标记设置为EOS(128258)，这样模型将只输出SNAC语音编码标记。

2. 语音克隆技术：虽然效果可能有限，但可以通过以下方式实现基础语音克隆：

   • 第一轮对话：提供原始语音的文本转录和编码后的SNAC标记
   • 第二轮对话：提供需要生成的新文本内容

3. 模型版本差异：项目早期的小型模型版本使用了不同的标记体系(如49158等)，但当前公开的3B参数模型统一采用上述标记结构。

技术实现建议

对于开发者而言，正确理解和使用这些标记至关重要。以下是几点实用建议：

1. 在构建提示词时，务必按照标记的层次结构顺序排列
2. 语音生成场景下，停止标记必须设置为EOS(128258)
3. 不同模型版本间的标记体系可能存在差异，需要针对性适配
4. 标记ID与名称的对应关系应通过模型的tokenizer.json文件确认

通过深入理解Orpheus-TTS的提示词构建机制，开发者可以更精准地控制语音生成过程，实现更高质量的文本转语音效果。