Open-LLM-VTuber项目中实现拟真主播说话风格的技术探索

在虚拟主播领域，如何让AI的说话方式更接近真实人类主播是一个值得深入研究的技术问题。本文将探讨Open-LLM-VTuber项目中针对这一问题的技术解决方案。

问题背景

传统语言模型(LLM)的输出方式与人类主播存在显著差异。人类主播，特别是虚拟主播，通常会：

• 使用短小精悍的句子
• 通过多次发言表达完整意思
• 在说话过程中加入自然停顿
• 保持口语化的表达风格

而传统LLM倾向于一次性输出大段文字，这种输出方式在直播场景中显得不够自然。

基础解决方案：提示词工程与微调

项目团队首先提出了通过修改提示词(prompt)和模型微调来改善输出风格的方法。具体实现包括：

1. 在persona_prompt中添加风格限定：

请尽可能口语化，句子长度限制在10-15字以内，把想说的话分成多个短的句子说出来。

2. 创建特定风格的虚拟主播人格描述：

你是个不太聪明的虚拟主播，说话极度口语化，说不了长句子，每个句子长度都在5-15个字以内。

这种方法能够在一定程度上改善输出风格，但仍无法完全模拟人类主播的自然停顿和节奏感。

进阶方案：标记系统(pause tag)

为解决自然停顿问题，项目团队设计了专门的标记系统。核心思路是：

1. 引入<pause/>自闭合标签，LLM可以在输出中插入这些标签表示停顿

2. 后端sentence divider会识别并处理三种标签形式：

   • 开始标签<tag>
   • 结束标签</tag>
   • 自闭合标签<tag/>

3. 处理流程示例： 输入："A B.C D" 处理后得到：

   • "A"
   • ""
   • "B"
   • "C"
   • ""
   • "D"

技术实现细节

标记系统的实现涉及多个技术层面：

1. 流式处理：系统在流式输出过程中实时识别并处理标签

2. 音频生成：当识别到<pause/>标签时：

   • 将display_text设为空
   • 生成指定长度的空音频
   • 发送给前端实现停顿效果

3. 提示词集成：通过项目utils目录下的文件管理停顿相关的提示词，并在conf.yaml的tool_prompt中引用

替代方案：TTS原生停顿

部分团队成员提出了利用TTS(文本转语音)系统原生支持的停顿特性：

1. 语音合成停顿：某些TTS引擎(如Fish Audio)能够识别省略号等标点并生成自然的停顿音效

2. 思考声音：高级TTS可以生成"emm"等思考性声音，如HumeAI Agent所示范的

3. 拖尾音效：专业TTS能够模拟人类说话时的气息和尾音变化

技术选型建议

在实际应用中，建议采用组合方案：

1. 基础层：通过提示词工程和微调确保短句、口语化输出

2. 中间层：实现标签系统处理显式停顿需求

3. 表现层：利用高级TTS的停顿和音效功能增强自然感

这种分层架构既保证了灵活性，又能充分利用各层级的技术优势。

未来展望

随着技术的进步，虚拟主播的交互方式还将持续进化。值得关注的方向包括：

1. 基于语音韵律分析的自动断句
2. 结合呼吸节奏的语音合成
3. 情感驱动的语速和停顿变化
4. 多模态交互中的自然反馈机制

Open-LLM-VTuber项目在这些领域的探索，将为虚拟主播技术的发展提供宝贵经验。