用fish-audio-drama-3-3bit生成多角色对白剧:speaker标签与[laughs]语气标记实操指南

原创2026-10-21 09:37:082,452 阅读
文章标签:语音音频大模型本地部署多模态

用fish-audio-drama-3-3bit生成多角色对白剧:speaker标签与[laughs]语气标记实操指南

fish-audio-drama-3-3bit 是 Fish Audio Drama 3 多角色对白语音合成(TTS)模型的 MLX 3-bit 量化版,专为 Apple Silicon 优化,让 32GB 内存的 Mac 也能生成最多 16 个角色的对白剧,并通过 <|speaker:0|> speaker 标签和 [laughs] 语气标记精确控制"谁在说、带着什么情绪说"。

为什么 3-bit 版值得装:质量接近 8-bit,内存占用直接减半

原版 Drama 3 对消费级 Mac 来说太大了,这个社区转换版采用混合精度量化:

  • 路由专家(experts):3-bit(从 block-FP8 版本反量化而来)
  • 稠密投影与音频塔:8-bit
  • 磁盘占用 18.5 GB,生成时峰值内存约 22.5–24 GB,正好落在 32GB Mac 的舒适区

官方用 20 条语音克隆英文片段做了实测(Whisper 词错率 WER、说话人相似度、UTMOS),3-bit 版不但没翻车,部分指标还略优于 8-bit:

Experts / Dense 模型大小 WER 失败 说话人相似度 UTMOS
8 / 8 34.3 GB 1.6% 0/20 0.625 3.92
3 / 8(本模型) 16.9 GB 1.4% 0/20 0.610 4.04
3 / 3 14.1 GB 26.7% 9/20 0.561 3.13

两个值得注意的细节:盲听测试中,听众分不出 3-bit 和 8-bit 的差别;而 2-bit 专家版在多角色对白里会丢掉最后两句,全 3-bit 版 WER 飙到 26.7%。所以 3/8 就是对白场景的实用下限。完整的量化改动记录见 NOTICE。

三步快速上手:安装 mlx-audio,生成第一段对白

第一步:安装 mlx-audio 运行环境

Drama 3 支持刚合并进 mlx-audio 的 main 分支、尚未随正式发行版发布,若你安装后发现模型不被识别,请改装 main 分支的最新版本:

pip install "mlx-audio[tts]"

模型权重无需手动下载,load_model 会按名称自动拉取(即仓库中的 model-00001.safetensors 至 model-00005.safetensors 加 codec.safetensors)。

第二步:准备参考音频(语音克隆的关键)

  • 准备目标声音的短音频片段(几秒即可),并同时提供参考文本(ref_text,即这段音频逐字说了什么);
  • 尽量用 44.1 kHz 采样率:Drama 3 会复制参考音频的带宽,参考音频越"干净、高解析",输出越好;
  • 多角色对白可以为每个角色各提供一段参考音频,按 speaker 编号一一对应。

第三步:一行命令或几行代码生成对白

Python 写法(多角色 + [laughs] 示例):

from mlx_audio.tts.utils import load_model

model = load_model("mlx-community/fish-audio-drama-3-3bit")

for result in model.generate(
    text="<|speaker:0|> 猜猜我们这周上线了什么?<|speaker:1|> [laughs] 一张电子表格?",
    ref_audio="reference.wav",
    ref_text="参考音频的逐字转写文本",
):
    audio = result.audio  # 44.1 kHz,流式返回

等价的 CLI 写法(来自 README.md):

python -m mlx_audio.tts.generate --model mlx-community/fish-audio-drama-3-3bit \
    --text "[sighs] 行吧,赶不上就赶不上,全怪你。" \
    --ref_audio reference.wav --ref_text "参考音频的逐字转写文本" \
    --temperature 0.7 --top_p 0.7 --top_k 30

速度方面:M5 Max 上约 36 帧/秒,相当于 1.7 倍实时,一分钟的对白不用等太久。

speaker 标签详解:最多 16 个角色怎么标

🎭 本模型在词表里预留了 <|speaker:0|> 到 <|speaker:15|> 共 16 个 speaker 标签,单场景最多区分 16 个角色。完整特殊 token 清单可查看 special_tokens_map.json。

书写规则很简单:

  1. 标签放在一行台词的最前面,后面紧跟该角色说的内容;
  2. 标签是换声"分界线",模型看到新标签就自动切换到对应角色的声音;
  3. 同一角色连续说多句时不必重复标签,只在首次开口处标一次即可。

一个标准的两人对白示例:

<|speaker:0|> 猜猜我们这周上线了什么?
<|speaker:1|> [laughs] 一张电子表格?
<|speaker:1|> 这次总该有点大东西了吧?

其中 speaker 0 是主持人、speaker 1 是同事;生成时按编号给模型喂入各角色的参考音频,模型即可分声演绎。多参考音频与流式输出的更多参数,见 mlx-audio 仓库内的 Drama 3 模型文档。

[laughs] 与 [sighs]:给对白加情绪的语气标记

除了指定"谁在说",Drama 3 还支持用方括号语气标记指定"这句带什么非语言表演"。官方实测验证过的有两个:

标记 效果 适用场景
[laughs] 笑声 角色觉得好笑、反讽、紧张地笑
[sighs] 叹气 无奈、放弃、疲惫

书写要点:

  • 紧跟 speaker 标签、放在台词内容之前,例如 <|speaker:1|> [laughs] 一张电子表格。;
  • 它是"这句开始前的表演提示",别插在句子中间或句尾;
  • 别滥用,一个场景 1–2 处即可,标记过多反而让输出节奏变怪。

3-bit 版专门通过了两角色对白、[sighs] / [laughs] 标记和 43 秒长篇剧本的测试,全部正常——量化版上放心用这些功能。

生成自然对白的 6 个实用技巧

  1. 台词写短:一句控制在 2–4 秒内,长句更容易被截断或节奏不稳(2-bit 版在多角色对白里丢台词就是前车之鉴);
  2. 参考音频用 44.1 kHz、发音清晰无噪,ref_text 必须与音频内容完全一致;
  3. 先用官方默认参数 temperature 0.7 / top_p 0.7 / top_k 30,稳定后再按角色性格微调;
  4. 标签跟着换人说,标记只在需要强调情绪时加,保持文本干净;
  5. 支持中文、英文、日文、韩文等数十种语言,同一角色的台词尽量语言一致,避免音色漂移;
  6. 40 秒以上的长剧本可以一次性送入;如果输出偏长,建议在自然停顿处分段生成再拼接。

项目文件速查与使用提醒

文件 说明
README.md 模型完整说明:质量实测数据、安装与用法示例
config.json 模型结构与量化配置(可查到 experts 为 3-bit)
special_tokens_map.json speaker / semantic 等特殊 token 全表
chat_template.jinja 对话模板定义
LICENSE Fish Audio Community License v1.0
NOTICE 本次转换的全部改动记录

⚠️ 合规提醒:模型遵循 Fish Audio Community License,对使用场景、商业与托管服务均有约束;未经本人同意,不要克隆真实人物的声音(官方原话)。

掌握了 speaker 标签 + 语气标记这两件套,一行 <|speaker:0|> [sighs] 行吧,赶不上就赶不上,全怪你。 就能变成有角色、有情绪的完整对白。建议先用两个角色练熟手感,再逐步扩展到更多角色。🎬

登录后查看全文
fish-audio-drama-3-3bit