faster-qwen3-tts 三大合成模式详解:Voice Clone、CustomVoice、VoiceDesign 到底怎么选
faster-qwen3-tts 三大合成模式详解:Voice Clone、CustomVoice、VoiceDesign 到底怎么选
faster-qwen3-tts 是基于 Qwen3-TTS 的实时语音合成(Text-to-Speech)项目,通过 CUDA Graphs 加速,在 NVIDIA GPU 上实现 4~9 倍加速,Apple Silicon Mac 也可通过 GGML 后端运行。它提供 三大合成模式:Voice Clone(声音克隆)、CustomVoice(预置说话人)、VoiceDesign(文本描述音色),本文帮你一次讲清三种模式的区别,并给出选型建议。
📋 一张表看懂三大模式
| 对比项 | Voice Clone(声音克隆) | CustomVoice(预置说话人) | VoiceDesign(音色设计) |
|---|---|---|---|
| CLI 子命令 | clone |
custom |
design |
| 对应模型 | ...-Base(0.6B / 1.7B) |
...-CustomVoice(0.6B / 1.7B) |
...-VoiceDesign(1.7B) |
| 输入要求 | 参考音频 + 转写文本(或纯声纹) | 说话人 ID(如 aiden) |
一句自然语言描述 |
| 声音来源 | 任意真实人声 | 官方预置音色 | 模型"凭空"生成新音色 |
| 典型场景 | 配音、客服、有声书 | 快速出片、默认旁白 | 短视频、创意内容、无人声素材时 |
| 核心方法 | generate_voice_clone |
generate_custom_voice |
generate_voice_design |
三种模式共用同一套推理核心,faster_qwen3_tts/cli.py 中分别对应 cmd_clone、cmd_custom、cmd_design 三个入口。
🎙 模式一:Voice Clone —— 一段音频克隆任意声音
Voice Clone 使用 Base 模型,只需一段参考音频(--ref-audio)就能让模型用这个人的声音朗读任意文本。
faster-qwen3-tts clone \
--model Qwen/Qwen3-TTS-12Hz-1.7B-Base \
--text "What do you mean that I'm not real?" \
--language English \
--ref-audio ref_audio.wav \
--ref-text "参考音频的转写文本" \
--output out.wav
两种克隆子模式:ICL vs x-vector
generate_voice_clone 通过 xvec_only 参数暴露两种克隆方式(见 model.py):
| 子模式 | 参数 | 特点 |
|---|---|---|
| ICL(默认) | xvec_only=False |
完整参考音频进入上下文,音色还原度最高;需要准确的 --ref-text;首克隆会稍慢,之后自动缓存 |
| x-vector(简化) | xvec_only=True |
只提取说话人嵌入(约 10 个 token 的短 prefill),无需 --ref-text,跨语言切换更干净、无口音串扰 |
一个贴心细节:ICL 模式下模型会"接着参考音频的句子往下说",参考音频结尾的音素可能串进新语音。项目默认会在参考音频后追加 0.5 秒静音(append_silence=True)来规避该伪影。
生产环境:预计算声纹嵌入
如果需要反复使用同一个声音,可以先用 examples/extract_speaker.py 一次性提取说话人嵌入(约 10 秒,产物仅 4KB 的 speaker.pt),之后用 examples/generate_with_embedding.py 直接加载:
# 1. 一次性提取声纹
python examples/extract_speaker.py --ref_audio voice.wav --output speaker.pt
# 2. 随时合成,无需再传参考音频
python examples/generate_with_embedding.py --speaker speaker.pt --text "Hello!" --language English --output en.wav
x-vector 模式下运行时不加载任何参考音频,只有 4KB 嵌入文件,非常适合多语言场景(同一个 speaker.pt 说英语、法语、德语)。
🧑🤝🧑 模式二:CustomVoice —— 预置说话人,开箱即用
CustomVoice 使用 CustomVoice 模型,内置了一批官方音色,直接用 ID 选择,完全不需要参考音频:
# 先查看支持的说话人
faster-qwen3-tts custom --model Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice --list-speakers
# 用预置音色合成
faster-qwen3-tts custom \
--model Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice \
--speaker aiden \
--text "What do you mean that I'm not real?" \
--language English \
--output out.wav
两点提示:
--instruct参数可用于微调风格,但 0.6B 版本会自动忽略 instruct(见 generate_custom_voice 中对小模型的降级处理),1.7B 模型效果更好。- 首次合成后,GGML 后端还会把参考数据缓存为
.spk/.rvq文件,后续请求跳过编码步骤。
✨ 模式三:VoiceDesign —— 用一句话"设计"一个新声音
VoiceDesign 使用 1.7B VoiceDesign 模型,不需要任何参考音频,用自然语言描述想要的音色,模型直接生成:
faster-qwen3-tts design \
--model Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign \
--instruct "Warm, confident narrator with slight British accent" \
--text "Welcome to the show." \
--language English \
--output out.wav
--instruct 是必填项,你可以描述性别、年龄感、情绪、口音、场景,例如"温暖自信、略带英音的解说员"。这是唯一不依赖任何既有声音素材、能产出全新音色的模式。
⚡ 三种模式速度一样吗?
好消息:基本一样。项目用 benchmarks/compare_modes.py 复现的对比(0.6B 模型、chunk_size=8)显示:
| 模式 | TTFA(首包延迟) | RTF(实时倍率) |
|---|---|---|
| VoiceClone(x-vector) | 152 ± 11 ms | 5.47 |
| VoiceClone(完整 ICL) | 149 ± 1 ms | 5.50 |
| CustomVoice | 148 ± 1 ms | 5.54 |
RTF > 1 表示比实时更快:RTF 5.5 意味着合成 1 秒音频只需约 1/5.5 秒。TTFA 是流式输出时"第一帧可播放音频"的等待时间。
唯一差异在于:首次克隆某个新声音时需要先编码参考音频,会比预置模式慢一些;缓存建立后差距消失。
🚀 安装与快速上手
pip install faster-qwen3-tts
- 要求 Python 3.10+、PyTorch 2.5.1+;Torch 后端需要 NVIDIA CUDA GPU
- Apple Silicon Mac 会默认使用 GGML/Metal 后端,或显式安装
pip install "faster-qwen3-tts[ggml]" - 详细安装说明见 README.md 与 docs/ggml-backend.md
三种模式都支持 --streaming 流式输出(边生成边播放),也支持 serve 常驻服务模式保持模型热加载:
faster-qwen3-tts serve --mode custom \
--model Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice \
--speaker aiden --language English --streaming
此外项目还提供了一个 Web 演示界面(支持上传 WAV、麦克风录音、实时 TTFA/RTF 指标),入口在 demo/server.py:
pip install -e ".[demo,ggml]"
python demo/server.py --backend ggml # 打开 http://localhost:7860
🧭 选型速查:到底怎么选?
| 你的情况 | 推荐模式 |
|---|---|
| 有一段目标人声录音,需要"这个人的声音" | ✅ Voice Clone(追求最高还原度用默认 ICL;跨语言、追求短 prefill 用 --xvec-only) |
| 没有声音素材,想要稳定可复用的默认音色 | ✅ CustomVoice(--list-speakers 选一个 ID 即可) |
| 想要一个全新的、按描述定制的音色 | ✅ VoiceDesign(1.7B 模型 + --instruct) |
| 多语言服务、低资源部署(Jetson/嵌入式) | Voice Clone + 预计算 speaker.pt(x-vector 模式) |
一句话总结:要"像谁"就用 Clone,要"快上手"就用 CustomVoice,要"从零造新声"就用 VoiceDesign。三者性能几乎相同,选模式只需看手里的素材。
📚 延伸阅读
- 项目总览与性能基准:README.md
- 三大模式生成 API 源码:faster_qwen3_tts/model.py(generate_voice_clone / generate_custom_voice / generate_voice_design)
- 模式性能对比脚本:benchmarks/compare_modes.py
- 音质对比样本说明:samples/parity/README.md
- OpenAI 兼容 API 示例:examples/openai_server.py