6大TTS引擎怎么选?Voice-Clone-Studio中Qwen3-TTS、VibeVoice、Chatterbox与Fish Speech横评清单
6大TTS引擎怎么选?Voice-Clone-Studio中Qwen3-TTS、VibeVoice、Chatterbox与Fish Speech横评清单
Voice-Clone-Studio 是一款基于 Gradio 的网页版声音克隆与声音设计工具,把 Qwen3-TTS、VibeVoice、Chatterbox、Fish Speech 等 6 大 TTS 引擎整合进同一个界面。本文给出一份清晰的引擎横评清单,帮你根据自己的场景(短文本克隆、长篇有声书、变声、情感控制)快速选出最合适的 TTS 引擎,避免在设置里盲目试错。
打开应用后,你会看到顶部一排功能标签页:Voice Clone、Voice Changer、Voice Presets、Conversation、Sound Effects 等。所有引擎都集中在 Voice Clone 标签页的 "Engine & Model" 下拉框里,一键切换,无需单独部署任何引擎。
一页速览:6 大 TTS 引擎对比清单
| 引擎 | 定位 | 模型规模 | 亮点能力 | 推荐场景 |
|---|---|---|---|---|
| Qwen3-TTS | 声音克隆全能选手 | 0.6B / 1.7B | 速度快、支持 CUDA Graphs 加速、情感预设 | 日常克隆、中英混合内容 |
| VibeVoice | 长文本多说话人 | 1.5B / 7B / 7B-4bit | 最长 90 分钟连续语音、最多 4 个说话人 | 播客、有声书、长篇对话 |
| Chatterbox | 语音转换(变声) | TTS / 多语言版 | 音频转音频、23 种语言支持 | 给已有录音换声音 |
| Fish Speech | 表情标签精细控制 | S2 Pro (4B) | 15000+ 个 [tag] 表情标记 |
广播剧、需要表演张力的内容 |
| LuxTTS | 说话人编码器克隆 | Large | 轻量、支持 CPU 运行 | 低显存环境的克隆 |
| MMAudio | 音效生成(非语音) | Medium / Large v2 | 文生音、视频同步音效 | 给视频配环境音 |
💡 完整引擎注册表定义在 modules/core_components/constants.py 的
TTS_ENGINES中,每个引擎都可以在 Settings 里独立启用或禁用。
Qwen3-TTS:默认首选的声音克隆引擎
Qwen3-TTS 是 Voice-Clone-Studio 的默认引擎,分两个规格:
- Small(0.6B):约 4GB 显存,速度快,适合低显存显卡
- Large(1.7B):约 8GB 显存,质量更高、表现力更强
它适合"给我一个 3~10 秒的参考音频 + 对应文字,然后让我用这个声音朗读新文本"这类标准克隆任务。额外优势:
- ✅ 开启 CUDA Graphs 加速后推理可提速 5~10 倍(Settings 中切换,仅 CUDA 支持)
- ✅ 支持 40+ 情感预设(愤怒、悲伤、讽刺等),通过调整采样参数实现语气变化
- ✅ 语音提示词(voice prompt)有缓存机制:首次生成较慢,之后几乎秒出
- ✅ 同一 Qwen 家族还提供 Voice Design 模式——不需要任何音频,用文字描述"年轻女性、温暖友好、轻微英音"即可生成对应声音
VibeVoice:长文本与多说话人的王者
VibeVoice 是本项目中最强的"长篇引擎",三个规格可选:
| 规格 | 说明 |
|---|---|
| Small (1.5B) | 快速生成,显存占用低 |
| Large (7B) | 最高质量 |
| Large (4-bit) | 7B 的 4-bit 量化版,显存更省(需 bitsandbytes) |
它的杀手锏在 Conversation 标签页:
- 🎙️ 支持最长 90 分钟连续语音
- 🗣️ 最多 4 个不同说话人,用你自己的声音样本驱动
- 脚本格式统一为
[1]: 台词、[2]: 台词,写好后交给引擎即可 - 跨语言支持,还会自发添加背景音乐/音效增强真实感
做播客、有声书、多角色叙事,优先选 VibeVoice。引擎加载逻辑见 modules/core_components/ai_models/tts_manager.py 的 get_vibevoice_tts() 方法。
Chatterbox:已有音频想换声音?用它
前两个引擎是"文字→语音",而 Chatterbox 是 语音→语音(Speech-to-Speech) 变声引擎:
- 上传或直接用麦克风录音 → 指定目标声音样本 → 原内容用新声音重新说出来
- Default:英语效果最佳
- Multilingual:支持 23 种语言
- 可复用 Voice Clone 里的同一批声音样本作为转换目标
对应功能是 Voice Changer 标签页,相关代码在 modules/chatterbox/。如果你手里已经有一段录音,只是想"换个音色",不必重新打字,Chatterbox 是唯一选择。
Fish Speech:用标签控制情绪的表演引擎
Fish Speech S2 Pro(4B 参数,模型约 8GB)最大的特色是表情标签(Expression Tags):
- 文本中直接嵌入
[whisper]、[laughing]、[excited]等标记,精细控制每一句话的语气 - 支持 15000+ 个标签
- 贴心设计:使用其他引擎时,
[tags]会被自动剥离,同一段文本到处可用
它还有两个需要注意的点:
- ⚠️ 首次生成较慢——第一次会编译 GPU 内核(Triton/Inductor),可能需要几分钟,之后会走缓存,快很多
- ⚠️ 模型体积大,8GB 显存显卡建议关闭其他引擎再加载(Settings 里的 Clear VRAM 按钮很好用)
按场景快速决策:你该选哪个?
| 你的需求 | 推荐引擎 |
|---|---|
| 给短视频配音,中英混合 | Qwen3-TTS Large |
| 低显存(≤6GB)跑克隆 | Qwen3-TTS Small 或 LuxTTS |
| 60 分钟有声书 / 多人播客 | VibeVoice Large |
| 已有录音只想换音色 | Chatterbox |
| 广播剧,需要气声/笑/激动等表演 | Fish Speech S2 Pro |
| 给无台词视频配环境音效 | MMAudio |
安装与上手三步走
- 克隆并部署:
git clone https://gitcode.com/gh_mirrors/vo/Voice-Clone-Studio
cd Voice-Clone-Studio
./setup-linux.sh # Windows 用 setup-windows.bat,macOS 用 setup-mac.sh
-
启动界面:运行
python voice_clone_studio.py(或./launch.sh),浏览器打开http://127.0.0.1:7860 -
准备声音样本:进入 Prep Audio 标签页,录制或上传 3~10 秒清晰语音 → 降噪/裁剪 → 自动转写(Whisper / Qwen3-ASR / VibeVoice-ASR 三选一)→ 保存为样本,然后回到 Voice Clone 选择引擎即可
所有模型首次使用时会通过 HuggingFace 自动下载,无需手动搬运。遇到加载失败等问题,可参考 docs/troubleshooting.md;各版本功能演进记录在 docs/updates.md。
常见问题速答
Q:显存不够,多个引擎能共存吗? 不能。TTS 管理器采用懒加载 + 独占策略:切换到不同引擎时会自动卸载旧模型释放显存,界面右上角的 "Clear VRAM" 按钮可手动清空。
Q:怎么只显示自己需要的引擎? 进入 Settings 标签页的 "Visible Tools / Engines" 区域,勾选要保留的引擎后重启应用即可,完全不用改代码。
Q:同一个文本能跨引擎复用吗?
可以。Fish Speech 的 [tag] 标签在其他引擎中会被自动剥离,Seed 值也能固定复现相同输出。
Q:声音样本有什么讲究? 3~10 秒、无背景噪音的清晰录音效果最佳;参考文本必须与音频内容完全一致。
总结
一句话决策:日常克隆选 Qwen3-TTS,长篇多角色选 VibeVoice,已有音频变声选 Chatterbox,要表演张力选 Fish Speech。Voice-Clone-Studio 的价值在于把这几套原本要各自部署的引擎装进一个界面,你只管挑场景,剩下的交给下拉框。
更多界面功能细节可参阅 README.md,声音克隆标签页的完整实现在 modules/core_components/tools/voice_clone.py。
