自然语言控制语音合成:Drama 3 如何听懂你的情绪指令

原创2026-10-15 21:21:551,722 阅读
文章标签:人工智能大模型语音音频

自然语言控制语音合成:Drama 3 如何听懂你的情绪指令

Fish Audio Drama 3 是一款新一代语音合成(text-to-speech)模型,能直接"听懂"自然语言中的情绪指令:把 [sighs]、[laughs] 这样的描述写进文本,它就能自动生成叹气、笑场等非语言细节,并支持 16 个角色的多人对白与一句话声音克隆。本文带你快速上手这款可用自然语言控制语音合成的模型。

Drama 3 是什么?会"演戏"的语音合成模型 🎙️

一句话概括:Drama 3 让你用普通文本"指挥"声音的演绎方式。它专为多角色场景和长内容(有声书、广播剧、短剧配音)设计,核心能力一览(详见 README.md#L101-L108):

能力 说明
模型规模 35B 参数 MoE 文本骨干,每个 token 仅激活约 3B 参数,兼顾速度与表现力
自然语言控制 直接在文本里写 [sighs]、[laughs],自动合成对应非语言细节
多角色 一段文本可用 `<
声音克隆 提供一段参考音频即可,无需微调
长文本 自动分块处理,支持逐块流式输出
语言 覆盖中、英、日、韩等 100+ 种语言

如何写出带情绪的语音:自然语言"点标签" ✍️

Drama 3 最直观的特点,是情绪指令就是文本里的普通文字,而不是需要配置的参数。

官方示例中,一个请求只需要两个字段(见 README.md#L134-L147):

{
  "text": "[sighs] Fine. If we miss it, it's on you. [laughs] Well, maybe that's fair.",
  "references": [
    {
      "audio_path": "参考音色音频文件路径",
      "text": "参考音色的转写文本"
    }
  ]
}

使用要点:

  1. 标签写在事件发生的位置:[sighs] 放在句首,[laughs] 放在句中,模型会在相应位置合成叹气或笑声;
  2. 不用调参数:没有"情绪强度""微笑系数"之类的旋钮,像导演喊台词一样描述即可;
  3. 参考音色可选:references 用于指定克隆来源,不传则使用默认音色。

💡 小提示:一句文本中可以叠加多个事件(如同时包含 [sighs] 和 [laughs]),让单句对白具备丰富的语气层次。

一句话配出 16 个人:speaker 标签实现多角色对话 🎭

做多角色配音时,传统做法是逐句生成、再用剪辑工具拼接。Drama 3 则在词表中预置了 16 个说话人标签(<|speaker:0|> 到 <|speaker:15|>,见 special_tokens_map.json#L19-L34):

  • 在每段对白前插入对应标签,即可让不同角色使用不同声音;
  • 整段内容一次性生成,各角色音色全程保持一致;
  • 这正是"Drama"名字的由来——它面向多角色、长内容的叙事场景。

一句话克隆声音,还能"续写式"修改音频 ✂️

声音克隆

提供几秒参考音频及其转写文本,Drama 3 就能用该音色朗读新文本,无需训练。

像改文档一样改语音

Drama 3 支持"编辑即续写"(editing as continuation):通过 previous_takes 参数传入之前生成的文本,模型会以它们为上下文生成新文本,音色、节奏、情绪基调都保持不变——就像只改动文档中的一句话、其余内容原样保留。

官方示例(见 README.md#L150-L183)演示了连续两次编辑:

  1. 首先生成 "The quarterly report is due on Wednesday…";
  2. 第一次编辑:把日期改成 Thursday,上下文为第 1 步文本;
  3. 第二次链式编辑:把 "by noon" 改成 by five,上下文包含前两步文本。

"改一句、保其余"的配音修改流程因此变得非常自然。

为什么又快又聪明?技术架构一览 ⚙️

模块 关键设计 查看位置
文本骨干 MoE 共 256 个专家、每 token 激活 8 个;40 层"1 full + 3 linear"混合注意力,长序列推理更快 config.json#L80-L221
音频解码器 Codebook-MTP 结构,对 10 个 codebook 做全序列因果解码 config.json#L5-L69
量化 MoE 专家权重 FP8、其余权重 bf16,降低显存与部署成本 config.json#L223-L230

模型权重拆分为 8 个 model-0000X-of-00008.safetensors 分片加上 codec.pth,总量约 37 GiB(权重分布见 model.safetensors.index.json);对话格式化模板定义在 chat_template.jinja。

Drama 3 快速部署步骤:一条命令启动 🚀

官方推荐通过 SGLang-Omni 推理框架提供服务,步骤很少:

  1. 获取模型文件(如需克隆仓库:git clone https://gitcode.com/hf_mirrors/fishaudio/drama-3);
  2. 安装 SGLang-Omni 框架(安装方式见 README.md 中引用的 Drama 3 Cookbook);
  3. 一条命令启动服务:
sgl-omni serve --model-path fishaudio/drama-3 --port 8000

启动后,按照"点标签"一节所述的 /v1/tts 请求格式调用,即可流式收到音频。

性能参考(NVIDIA H200 实测,完整数据见 README.md#L187-L199):

并发数 吞吐(frames/s) 首包延迟 TTFA p50 RTF
1 166.7 88.9 ms 0.131
16 927.6 210.1 ms 0.373
64 1,687.3 450.9 ms 0.801

单流请求首包音频约 90 ms 内到达;16 并发时合成速度仍是播放速度的约 2.7 倍,满足实时交互场景。

开始之前要知道的几件事 📌

  • 授权:模型采用 Fish Audio Community License,商用前请阅读 LICENSE;
  • 硬件:FP8 量化权重建议搭配 H200 级别的新架构 GPU 部署,官方性能数据也基于该平台;
  • 资料入口:示例请求、部署参数与流式 API 用法都在 README.md,模型结构参数见 config.json。

总结

Drama 3 把"配音"的门槛降到了"写一段带情绪的文字":无需调参数、无需逐句剪辑,用自然语言描述想要的演绎方式,再借助 speaker 标签和声音克隆组织多角色长内容。对于有声书、短剧、游戏与播客创作者来说,这是一套相当实用的自然语言控制语音合成方案。

登录后查看全文
drama-3