6大TTS引擎怎么选?Voice-Clone-Studio中Qwen3-TTS、VibeVoice、Chatterbox与Fish Speech横评清单

原创2026-11-03 18:52:331,444 阅读

6大TTS引擎怎么选?Voice-Clone-Studio中Qwen3-TTS、VibeVoice、Chatterbox与Fish Speech横评清单

Voice-Clone-Studio 是一款基于 Gradio 的网页版声音克隆与声音设计工具,把 Qwen3-TTS、VibeVoice、Chatterbox、Fish Speech 等 6 大 TTS 引擎整合进同一个界面。本文给出一份清晰的引擎横评清单,帮你根据自己的场景(短文本克隆、长篇有声书、变声、情感控制)快速选出最合适的 TTS 引擎,避免在设置里盲目试错。

Voice-Clone-Studio 界面预览:声音克隆引擎选择与文本生成面板

打开应用后,你会看到顶部一排功能标签页:Voice Clone、Voice Changer、Voice Presets、Conversation、Sound Effects 等。所有引擎都集中在 Voice Clone 标签页的 "Engine & Model" 下拉框里,一键切换,无需单独部署任何引擎。

一页速览:6 大 TTS 引擎对比清单

引擎 定位 模型规模 亮点能力 推荐场景
Qwen3-TTS 声音克隆全能选手 0.6B / 1.7B 速度快、支持 CUDA Graphs 加速、情感预设 日常克隆、中英混合内容
VibeVoice 长文本多说话人 1.5B / 7B / 7B-4bit 最长 90 分钟连续语音、最多 4 个说话人 播客、有声书、长篇对话
Chatterbox 语音转换(变声) TTS / 多语言版 音频转音频、23 种语言支持 给已有录音换声音
Fish Speech 表情标签精细控制 S2 Pro (4B) 15000+ 个 [tag] 表情标记 广播剧、需要表演张力的内容
LuxTTS 说话人编码器克隆 Large 轻量、支持 CPU 运行 低显存环境的克隆
MMAudio 音效生成(非语音) Medium / Large v2 文生音、视频同步音效 给视频配环境音

💡 完整引擎注册表定义在 modules/core_components/constants.py 的 TTS_ENGINES 中,每个引擎都可以在 Settings 里独立启用或禁用。

Qwen3-TTS:默认首选的声音克隆引擎

Qwen3-TTS 是 Voice-Clone-Studio 的默认引擎,分两个规格:

  • Small(0.6B):约 4GB 显存,速度快,适合低显存显卡
  • Large(1.7B):约 8GB 显存,质量更高、表现力更强

它适合"给我一个 3~10 秒的参考音频 + 对应文字,然后让我用这个声音朗读新文本"这类标准克隆任务。额外优势:

  • ✅ 开启 CUDA Graphs 加速后推理可提速 5~10 倍(Settings 中切换,仅 CUDA 支持)
  • ✅ 支持 40+ 情感预设(愤怒、悲伤、讽刺等),通过调整采样参数实现语气变化
  • ✅ 语音提示词(voice prompt)有缓存机制:首次生成较慢,之后几乎秒出
  • ✅ 同一 Qwen 家族还提供 Voice Design 模式——不需要任何音频,用文字描述"年轻女性、温暖友好、轻微英音"即可生成对应声音

VibeVoice:长文本与多说话人的王者

VibeVoice 是本项目中最强的"长篇引擎",三个规格可选:

规格 说明
Small (1.5B) 快速生成,显存占用低
Large (7B) 最高质量
Large (4-bit) 7B 的 4-bit 量化版,显存更省(需 bitsandbytes)

它的杀手锏在 Conversation 标签页:

  • 🎙️ 支持最长 90 分钟连续语音
  • 🗣️ 最多 4 个不同说话人,用你自己的声音样本驱动
  • 脚本格式统一为 [1]: 台词、[2]: 台词,写好后交给引擎即可
  • 跨语言支持,还会自发添加背景音乐/音效增强真实感

做播客、有声书、多角色叙事,优先选 VibeVoice。引擎加载逻辑见 modules/core_components/ai_models/tts_manager.py 的 get_vibevoice_tts() 方法。

Chatterbox:已有音频想换声音?用它

前两个引擎是"文字→语音",而 Chatterbox 是 语音→语音(Speech-to-Speech) 变声引擎:

  • 上传或直接用麦克风录音 → 指定目标声音样本 → 原内容用新声音重新说出来
  • Default:英语效果最佳
  • Multilingual:支持 23 种语言
  • 可复用 Voice Clone 里的同一批声音样本作为转换目标

对应功能是 Voice Changer 标签页,相关代码在 modules/chatterbox/。如果你手里已经有一段录音,只是想"换个音色",不必重新打字,Chatterbox 是唯一选择。

Fish Speech:用标签控制情绪的表演引擎

Fish Speech S2 Pro(4B 参数,模型约 8GB)最大的特色是表情标签(Expression Tags):

  • 文本中直接嵌入 [whisper]、[laughing]、[excited] 等标记,精细控制每一句话的语气
  • 支持 15000+ 个标签
  • 贴心设计:使用其他引擎时,[tags] 会被自动剥离,同一段文本到处可用

它还有两个需要注意的点:

  1. ⚠️ 首次生成较慢——第一次会编译 GPU 内核(Triton/Inductor),可能需要几分钟,之后会走缓存,快很多
  2. ⚠️ 模型体积大,8GB 显存显卡建议关闭其他引擎再加载(Settings 里的 Clear VRAM 按钮很好用)

按场景快速决策:你该选哪个?

你的需求 推荐引擎
给短视频配音,中英混合 Qwen3-TTS Large
低显存(≤6GB)跑克隆 Qwen3-TTS Small 或 LuxTTS
60 分钟有声书 / 多人播客 VibeVoice Large
已有录音只想换音色 Chatterbox
广播剧,需要气声/笑/激动等表演 Fish Speech S2 Pro
给无台词视频配环境音效 MMAudio

安装与上手三步走

  1. 克隆并部署:
git clone https://gitcode.com/gh_mirrors/vo/Voice-Clone-Studio
cd Voice-Clone-Studio
./setup-linux.sh        # Windows 用 setup-windows.bat,macOS 用 setup-mac.sh
  1. 启动界面:运行 python voice_clone_studio.py(或 ./launch.sh),浏览器打开 http://127.0.0.1:7860

  2. 准备声音样本:进入 Prep Audio 标签页,录制或上传 3~10 秒清晰语音 → 降噪/裁剪 → 自动转写(Whisper / Qwen3-ASR / VibeVoice-ASR 三选一)→ 保存为样本,然后回到 Voice Clone 选择引擎即可

所有模型首次使用时会通过 HuggingFace 自动下载,无需手动搬运。遇到加载失败等问题,可参考 docs/troubleshooting.md;各版本功能演进记录在 docs/updates.md。

常见问题速答

Q:显存不够,多个引擎能共存吗? 不能。TTS 管理器采用懒加载 + 独占策略:切换到不同引擎时会自动卸载旧模型释放显存,界面右上角的 "Clear VRAM" 按钮可手动清空。

Q:怎么只显示自己需要的引擎? 进入 Settings 标签页的 "Visible Tools / Engines" 区域,勾选要保留的引擎后重启应用即可,完全不用改代码。

Q:同一个文本能跨引擎复用吗? 可以。Fish Speech 的 [tag] 标签在其他引擎中会被自动剥离,Seed 值也能固定复现相同输出。

Q:声音样本有什么讲究? 3~10 秒、无背景噪音的清晰录音效果最佳;参考文本必须与音频内容完全一致。

总结

一句话决策:日常克隆选 Qwen3-TTS,长篇多角色选 VibeVoice,已有音频变声选 Chatterbox,要表演张力选 Fish Speech。Voice-Clone-Studio 的价值在于把这几套原本要各自部署的引擎装进一个界面,你只管挑场景,剩下的交给下拉框。

更多界面功能细节可参阅 README.md,声音克隆标签页的完整实现在 modules/core_components/tools/voice_clone.py。

登录后查看全文
Voice-Clone-Studio