用fish-audio-drama-3-3bit生成多角色对白剧:speaker标签与[laughs]语气标记实操指南
用fish-audio-drama-3-3bit生成多角色对白剧:speaker标签与[laughs]语气标记实操指南
fish-audio-drama-3-3bit 是 Fish Audio Drama 3 多角色对白语音合成(TTS)模型的 MLX 3-bit 量化版,专为 Apple Silicon 优化,让 32GB 内存的 Mac 也能生成最多 16 个角色的对白剧,并通过 <|speaker:0|> speaker 标签和 [laughs] 语气标记精确控制"谁在说、带着什么情绪说"。
为什么 3-bit 版值得装:质量接近 8-bit,内存占用直接减半
原版 Drama 3 对消费级 Mac 来说太大了,这个社区转换版采用混合精度量化:
- 路由专家(experts):3-bit(从 block-FP8 版本反量化而来)
- 稠密投影与音频塔:8-bit
- 磁盘占用 18.5 GB,生成时峰值内存约 22.5–24 GB,正好落在 32GB Mac 的舒适区
官方用 20 条语音克隆英文片段做了实测(Whisper 词错率 WER、说话人相似度、UTMOS),3-bit 版不但没翻车,部分指标还略优于 8-bit:
| Experts / Dense | 模型大小 | WER | 失败 | 说话人相似度 | UTMOS |
|---|---|---|---|---|---|
| 8 / 8 | 34.3 GB | 1.6% | 0/20 | 0.625 | 3.92 |
| 3 / 8(本模型) | 16.9 GB | 1.4% | 0/20 | 0.610 | 4.04 |
| 3 / 3 | 14.1 GB | 26.7% | 9/20 | 0.561 | 3.13 |
两个值得注意的细节:盲听测试中,听众分不出 3-bit 和 8-bit 的差别;而 2-bit 专家版在多角色对白里会丢掉最后两句,全 3-bit 版 WER 飙到 26.7%。所以 3/8 就是对白场景的实用下限。完整的量化改动记录见 NOTICE。
三步快速上手:安装 mlx-audio,生成第一段对白
第一步:安装 mlx-audio 运行环境
Drama 3 支持刚合并进 mlx-audio 的 main 分支、尚未随正式发行版发布,若你安装后发现模型不被识别,请改装 main 分支的最新版本:
pip install "mlx-audio[tts]"
模型权重无需手动下载,load_model 会按名称自动拉取(即仓库中的 model-00001.safetensors 至 model-00005.safetensors 加 codec.safetensors)。
第二步:准备参考音频(语音克隆的关键)
- 准备目标声音的短音频片段(几秒即可),并同时提供参考文本(
ref_text,即这段音频逐字说了什么); - 尽量用 44.1 kHz 采样率:Drama 3 会复制参考音频的带宽,参考音频越"干净、高解析",输出越好;
- 多角色对白可以为每个角色各提供一段参考音频,按 speaker 编号一一对应。
第三步:一行命令或几行代码生成对白
Python 写法(多角色 + [laughs] 示例):
from mlx_audio.tts.utils import load_model
model = load_model("mlx-community/fish-audio-drama-3-3bit")
for result in model.generate(
text="<|speaker:0|> 猜猜我们这周上线了什么?<|speaker:1|> [laughs] 一张电子表格?",
ref_audio="reference.wav",
ref_text="参考音频的逐字转写文本",
):
audio = result.audio # 44.1 kHz,流式返回
等价的 CLI 写法(来自 README.md):
python -m mlx_audio.tts.generate --model mlx-community/fish-audio-drama-3-3bit \
--text "[sighs] 行吧,赶不上就赶不上,全怪你。" \
--ref_audio reference.wav --ref_text "参考音频的逐字转写文本" \
--temperature 0.7 --top_p 0.7 --top_k 30
速度方面:M5 Max 上约 36 帧/秒,相当于 1.7 倍实时,一分钟的对白不用等太久。
speaker 标签详解:最多 16 个角色怎么标
🎭 本模型在词表里预留了 <|speaker:0|> 到 <|speaker:15|> 共 16 个 speaker 标签,单场景最多区分 16 个角色。完整特殊 token 清单可查看 special_tokens_map.json。
书写规则很简单:
- 标签放在一行台词的最前面,后面紧跟该角色说的内容;
- 标签是换声"分界线",模型看到新标签就自动切换到对应角色的声音;
- 同一角色连续说多句时不必重复标签,只在首次开口处标一次即可。
一个标准的两人对白示例:
<|speaker:0|> 猜猜我们这周上线了什么?
<|speaker:1|> [laughs] 一张电子表格?
<|speaker:1|> 这次总该有点大东西了吧?
其中 speaker 0 是主持人、speaker 1 是同事;生成时按编号给模型喂入各角色的参考音频,模型即可分声演绎。多参考音频与流式输出的更多参数,见 mlx-audio 仓库内的 Drama 3 模型文档。
[laughs] 与 [sighs]:给对白加情绪的语气标记
除了指定"谁在说",Drama 3 还支持用方括号语气标记指定"这句带什么非语言表演"。官方实测验证过的有两个:
| 标记 | 效果 | 适用场景 |
|---|---|---|
[laughs] |
笑声 | 角色觉得好笑、反讽、紧张地笑 |
[sighs] |
叹气 | 无奈、放弃、疲惫 |
书写要点:
- 紧跟 speaker 标签、放在台词内容之前,例如
<|speaker:1|> [laughs] 一张电子表格。; - 它是"这句开始前的表演提示",别插在句子中间或句尾;
- 别滥用,一个场景 1–2 处即可,标记过多反而让输出节奏变怪。
3-bit 版专门通过了两角色对白、[sighs] / [laughs] 标记和 43 秒长篇剧本的测试,全部正常——量化版上放心用这些功能。
生成自然对白的 6 个实用技巧
- 台词写短:一句控制在 2–4 秒内,长句更容易被截断或节奏不稳(2-bit 版在多角色对白里丢台词就是前车之鉴);
- 参考音频用 44.1 kHz、发音清晰无噪,
ref_text必须与音频内容完全一致; - 先用官方默认参数
temperature 0.7 / top_p 0.7 / top_k 30,稳定后再按角色性格微调; - 标签跟着换人说,标记只在需要强调情绪时加,保持文本干净;
- 支持中文、英文、日文、韩文等数十种语言,同一角色的台词尽量语言一致,避免音色漂移;
- 40 秒以上的长剧本可以一次性送入;如果输出偏长,建议在自然停顿处分段生成再拼接。
项目文件速查与使用提醒
| 文件 | 说明 |
|---|---|
| README.md | 模型完整说明:质量实测数据、安装与用法示例 |
| config.json | 模型结构与量化配置(可查到 experts 为 3-bit) |
| special_tokens_map.json | speaker / semantic 等特殊 token 全表 |
| chat_template.jinja | 对话模板定义 |
| LICENSE | Fish Audio Community License v1.0 |
| NOTICE | 本次转换的全部改动记录 |
⚠️ 合规提醒:模型遵循 Fish Audio Community License,对使用场景、商业与托管服务均有约束;未经本人同意,不要克隆真实人物的声音(官方原话)。
掌握了 speaker 标签 + 语气标记这两件套,一行 <|speaker:0|> [sighs] 行吧,赶不上就赶不上,全怪你。 就能变成有角色、有情绪的完整对白。建议先用两个角色练熟手感,再逐步扩展到更多角色。🎬