Imagination Studio声音克隆教程:Fish Audio Drama 3本地配音与多角色对话完整指南

原创2026-11-12 18:32:531,346 阅读

Imagination Studio声音克隆教程:Fish Audio Drama 3本地配音与多角色对话完整指南

想在 Mac 或 NVIDIA DGX Spark 上免费、离线完成 AI 配音吗?Imagination Studio 的 Voice 功能内置 Fish Audio Drama 3 声音克隆引擎,全程在本机运行,不向任何云端发送音频。本教程教你三步上手:写对白、克隆声音、生成多角色对话配音。

Imagination Studio 声音引擎录音棚概念图:本地运行的配音与配乐工作流

一、为什么选择 Imagination Studio 本地配音

优势 说明
🎙️ 完全本地 Drama 3 权重部署在自家机器,隐私零泄露
🗣️ 多角色对话 一条文本最多 16 个说话人(`<
🧬 声音克隆 上传 10~30 秒干净录音即可复刻音色
✅ 自动质检 Whisper 逐词核对发音,漏词自动重绘
🔊 边做边播 生成过程中即可听到声音,无需干等

硬件要求:Mac(96 GB 内存以上)或 DGX Spark(128 GB),约需 40 GB 磁盘存放模型。

二、安装 Voice 模块:一条命令搞定

Imagination Studio 采用可选模块设计,Voice 通过 --voice 参数单独安装:

  • Mac / Apple Silicon:
bash oneshot-setup.sh --voice
  • NVIDIA DGX Spark:
bash oneshot-setup-spark.sh --voice

脚本会自动完成引擎构建、Fish Audio 权重下载(约 39 GB)和编码格式转换,最后跑一句测试台词验证。想只检查不安装,加 --verify;升级引擎用 --upgrade。

Imagination Studio 主页:Voice (Drama 3) 与 Clip with sound、Song 并列的生成入口

安装完成后,左侧导航栏进入 Sound 模块,点击 A voice line 卡片即可到达 Voice 页面。

Imagination Studio Sound 页面:Fish Audio Drama 3 配音入口与 A voice line 卡片

三、多角色对话配音:说话人标签技巧

Voice 页面核心是一个文本框。三条规则写对白:

  1. 说话人标签:<|speaker:0|> 到 <|speaker:15|> 切换音色,未带标签的文本默认归 speaker 0。
  2. 一回合一行:多个说话人时,每个回合单独成行——这是官方实测过的经验(app/voice.py 的 dialogue() 会自动帮你换行),挤在一行里后续台词更容易被截断。
  3. 方括号导演指令:[whispering]、[sighs]、[laughs] 控制表演;甚至可以直接描述音色,例如 [a deep, gravelly man in his fifties, slow and patient]——这会凭空设计一个声音(不读出来),无需录音即可定制角色。

文本框旁有 Two-speaker example 链接,点一下就会填入官方双人对白示例:

<|speaker:0|> [whispering] Did you hear that noise downstairs?
<|speaker:1|> [sighs] It's probably just the cat. Go back to sleep.
<|speaker:0|> Cats don't knock on doors.

四、声音克隆:三步复刻任意音色

参考演员工作板:角色定妆照、动作与语音波形,示意配音参考素材的使用方式

在 Voice to clone (optional) 区域:

  1. 上传音频:一个说话人的干净录音,建议 10~30 秒(系统接受 2~60 秒),支持 wav / mp3 / m4a 等常见格式。
  2. 填写台词(可选):写出录音里说的内容;留空时 Whisper 会自动转写。
  3. 勾选同意框:"I have the speaker's consent to clone this voice"——这是硬性门槛,API 收到 "consent": true 之前拒绝渲染。克隆真人声音请务必获得本人同意。

不上传录音也可以:Drama 3 会自己生成声音,用方括号描述即可定制。

生成满意后,还有两个实用按钮:

  • Clone this voice:把这一条 take 直接作为下一条的克隆样本,让同一角色跨多句台词保持音色一致;
  • Again, next seed:换随机种子重掷同一句。

五、生成 Take 与自动质检

点 Render the take 后,每条 take 都是渲染队列里的一个任务:

  • 🎧 边生成边播放:Mac 上约 0.2 秒、Spark 上约 0.3 秒即可听到第一声;
  • 🧩 Whisper 逐词核对:漏掉单词的片段会换新种子重画(最多两次,保留最佳);
  • 💾 自动保存:WAV、文本、参数都归档在 ~/ImaginationStudio/voice/。

采样参数默认就是 Fish 官方推荐值(Temperature 1.0、Top-p 0.9、Top-k 30),新手保持 Fish defaults 即可,只改 Seed 换版本。

AI 生成的口型说话角色与语音波形:自然面部表情配声音克隆效果示意

六、进阶:让声音进入视频

Imagination Studio 的声音不止于独立 WAV,还能直接接入视频制作:

  • Use as Ref2VA voice reference:把 take 作为 2~15 秒参考音频送入 Create 向导,配合一张人物图片,让 MiniMax H3 生成的视频用这个声音说话——详见 docs/cli.md 的 "Reference videos and reference audio (Ref2VA)" 一节;
  • Slate 剧组流程:Sound 页的 voice sheet 有 Cast voice 按钮,用角色卡上的描述(年龄、口音、音高、语速)作为导演指令生成台词,勾选后该声音会自动成为开场定妆镜头的参考音频,角色"带着声音"走进镜头。

七、常见问题(FAQ)

现象 原因与处理
Voice 页显示 "Not available here" 未安装模块,运行 bash oneshot-setup.sh --voice 或 --spark 版命令
Render 按钮灰着点不了 上传了克隆音频但没勾同意框;或队列为忙
后续台词被吞掉 多说话人时确保一回合一行,别挤在同一行
想省内存 Drama 3 占约 42~52 GB;模型空闲 5 分钟自动卸载,视频任务开始前也会立即让出 GPU

更多音频引擎细节(音乐、音效、Foley)可查阅 docs/audio-guide.md,上手步骤看 TUTORIAL.md 第 10 章。

八、许可提醒

Drama 3 权重遵循 Fish Audio Community License v1.0:研究、非商业及小型公司商用可用;若对外提供托管式语音/克隆服务需另向 Fish Audio 申请授权,且界面需展示 "Built with Fish Audio"。克隆真人声音必须取得本人同意,禁止冒充任何人。

登录后查看全文
Imagination-Studio-by-keys-Wasserman