Imagination Studio声音克隆教程:Fish Audio Drama 3本地配音与多角色对话完整指南
Imagination Studio声音克隆教程:Fish Audio Drama 3本地配音与多角色对话完整指南
想在 Mac 或 NVIDIA DGX Spark 上免费、离线完成 AI 配音吗?Imagination Studio 的 Voice 功能内置 Fish Audio Drama 3 声音克隆引擎,全程在本机运行,不向任何云端发送音频。本教程教你三步上手:写对白、克隆声音、生成多角色对话配音。
一、为什么选择 Imagination Studio 本地配音
| 优势 | 说明 |
|---|---|
| 🎙️ 完全本地 | Drama 3 权重部署在自家机器,隐私零泄露 |
| 🗣️ 多角色对话 | 一条文本最多 16 个说话人(`< |
| 🧬 声音克隆 | 上传 10~30 秒干净录音即可复刻音色 |
| ✅ 自动质检 | Whisper 逐词核对发音,漏词自动重绘 |
| 🔊 边做边播 | 生成过程中即可听到声音,无需干等 |
硬件要求:Mac(96 GB 内存以上)或 DGX Spark(128 GB),约需 40 GB 磁盘存放模型。
二、安装 Voice 模块:一条命令搞定
Imagination Studio 采用可选模块设计,Voice 通过 --voice 参数单独安装:
- Mac / Apple Silicon:
bash oneshot-setup.sh --voice
- NVIDIA DGX Spark:
bash oneshot-setup-spark.sh --voice
脚本会自动完成引擎构建、Fish Audio 权重下载(约 39 GB)和编码格式转换,最后跑一句测试台词验证。想只检查不安装,加 --verify;升级引擎用 --upgrade。
安装完成后,左侧导航栏进入 Sound 模块,点击 A voice line 卡片即可到达 Voice 页面。
三、多角色对话配音:说话人标签技巧
Voice 页面核心是一个文本框。三条规则写对白:
- 说话人标签:
<|speaker:0|>到<|speaker:15|>切换音色,未带标签的文本默认归 speaker 0。 - 一回合一行:多个说话人时,每个回合单独成行——这是官方实测过的经验(app/voice.py 的
dialogue()会自动帮你换行),挤在一行里后续台词更容易被截断。 - 方括号导演指令:
[whispering]、[sighs]、[laughs]控制表演;甚至可以直接描述音色,例如[a deep, gravelly man in his fifties, slow and patient]——这会凭空设计一个声音(不读出来),无需录音即可定制角色。
文本框旁有 Two-speaker example 链接,点一下就会填入官方双人对白示例:
<|speaker:0|> [whispering] Did you hear that noise downstairs?
<|speaker:1|> [sighs] It's probably just the cat. Go back to sleep.
<|speaker:0|> Cats don't knock on doors.
四、声音克隆:三步复刻任意音色
在 Voice to clone (optional) 区域:
- 上传音频:一个说话人的干净录音,建议 10~30 秒(系统接受 2~60 秒),支持 wav / mp3 / m4a 等常见格式。
- 填写台词(可选):写出录音里说的内容;留空时 Whisper 会自动转写。
- 勾选同意框:"I have the speaker's consent to clone this voice"——这是硬性门槛,API 收到
"consent": true之前拒绝渲染。克隆真人声音请务必获得本人同意。
不上传录音也可以:Drama 3 会自己生成声音,用方括号描述即可定制。
生成满意后,还有两个实用按钮:
- Clone this voice:把这一条 take 直接作为下一条的克隆样本,让同一角色跨多句台词保持音色一致;
- Again, next seed:换随机种子重掷同一句。
五、生成 Take 与自动质检
点 Render the take 后,每条 take 都是渲染队列里的一个任务:
- 🎧 边生成边播放:Mac 上约 0.2 秒、Spark 上约 0.3 秒即可听到第一声;
- 🧩 Whisper 逐词核对:漏掉单词的片段会换新种子重画(最多两次,保留最佳);
- 💾 自动保存:WAV、文本、参数都归档在
~/ImaginationStudio/voice/。
采样参数默认就是 Fish 官方推荐值(Temperature 1.0、Top-p 0.9、Top-k 30),新手保持 Fish defaults 即可,只改 Seed 换版本。
六、进阶:让声音进入视频
Imagination Studio 的声音不止于独立 WAV,还能直接接入视频制作:
- Use as Ref2VA voice reference:把 take 作为 2~15 秒参考音频送入 Create 向导,配合一张人物图片,让 MiniMax H3 生成的视频用这个声音说话——详见 docs/cli.md 的 "Reference videos and reference audio (Ref2VA)" 一节;
- Slate 剧组流程:Sound 页的 voice sheet 有 Cast voice 按钮,用角色卡上的描述(年龄、口音、音高、语速)作为导演指令生成台词,勾选后该声音会自动成为开场定妆镜头的参考音频,角色"带着声音"走进镜头。
七、常见问题(FAQ)
| 现象 | 原因与处理 |
|---|---|
| Voice 页显示 "Not available here" | 未安装模块,运行 bash oneshot-setup.sh --voice 或 --spark 版命令 |
| Render 按钮灰着点不了 | 上传了克隆音频但没勾同意框;或队列为忙 |
| 后续台词被吞掉 | 多说话人时确保一回合一行,别挤在同一行 |
| 想省内存 | Drama 3 占约 42~52 GB;模型空闲 5 分钟自动卸载,视频任务开始前也会立即让出 GPU |
更多音频引擎细节(音乐、音效、Foley)可查阅 docs/audio-guide.md,上手步骤看 TUTORIAL.md 第 10 章。
八、许可提醒
Drama 3 权重遵循 Fish Audio Community License v1.0:研究、非商业及小型公司商用可用;若对外提供托管式语音/克隆服务需另向 Fish Audio 申请授权,且界面需展示 "Built with Fish Audio"。克隆真人声音必须取得本人同意,禁止冒充任何人。




