OpenStory音乐与角色配音指南:让AI视频拥有完整声音设计
OpenStory音乐与角色配音指南:让AI视频拥有完整声音设计
OpenStory 是一个开源的 AI 视频序列生成平台(基于 TanStack Start 构建),除了把剧本变成画面,它还能完成"声音设计"的最后一公里:为视频生成背景音乐与音效,以及为角色配音(Character Voice)并录制对白。本指南面向新手,带你从零走完"音乐 + 角色配音 + 合成导出"的完整流程,无需任何代码基础。
上图新建序列界面的 Motion + Music 开关,就是声音流程的入口:开启后,系统在生成画面的同时会规划音乐生成。
一、理解 OpenStory 的声音体系
OpenStory 的声音设计由三层组成,全部在界面上可视化操作:
| 层级 | 说明 | 操作位置 |
|---|---|---|
| 🎵 背景音乐 / 音效 | AI 根据剧本情绪自动生成音乐提示词,可换模型、换风格 | Music 选项卡 |
| 🎙️ 角色声音 | 为每个角色设计或挑选一个固定声线(Voice) | Cast 角色详情 / Characters 库 |
| 💬 对白录音 | 把镜头里的台词按角色声线批量合成 | 镜头(Shot)下的对白面板 |
最终所有声音会在 Theatre(剧场)选项卡与视频合并,导出为带音轨的 .mp4。
二、Music 选项卡:三步生成背景音乐
1. 自动生成的音乐提示词
OpenStory 在剧本分析阶段就会自动生成一段音乐提示词(prompt)和风格标签(tags),例如 "cinematic, ambient, dramatic"。你不需要自己写——打开序列的 Music 选项卡就能看到。
2. 调整参数并生成
提示词就绪后,界面上有四个可编辑项:
- 可编辑的提示词:描述你想要的配乐,如"低沉的大提琴,渐强的鼓点"
- 标签(Tags):AI 生成的流派 / 情绪标签,可自行增删
- 模型选择器:不同音乐模型的时长上限与能力不同
- 时长(Duration):默认等于视频总时长;若超过模型上限会给出提示,例如:
Video is 95s but lyria_2 max is 30s — music will be clamped.
点击 Generate Music 后异步生成,完成即可用内置播放器试听。不满意可 Regenerate Music,或切换模型重新生成;也可以先试听多个模型的版本,再把满意的那个 Set 为主音轨。
3. 主流音乐模型对比
| 模型 | 厂商 | 最大时长 | 特点 |
|---|---|---|---|
| ElevenLabs Music | ElevenLabs | 10 分钟 | 基于提示词,纯器乐(默认) |
| MiniMax Music v2 | MiniMax | 5 分钟 | 提示词 + 歌词 |
| ACE-Step 1.5 | ACE Studio | 4 分钟 | 开源权重,支持歌词 |
| Lyria 2 | 30 秒 | 短片、器乐 | |
| MMAudio V2 | MMAudio | 8 秒 | 视频转音效(SFX) |
| ElevenLabs SFX | ElevenLabs | 22 秒 | 音效 |
💡 小贴士:长片配乐选 ElevenLabs Music;需要人声歌词选 MiniMax Music v2 或 ACE-Step;镜头级音效(开门声、雨声)用 SFX 类模型。
音乐功能的源码位于 src/audio/,界面实现见 src/audio/ui/music-view.tsx,用户文档为 docs/user-guide/music.md。
三、角色配音:给每个角色一个固定声线
角色配音是 OpenStory 声音设计的核心:声线属于角色本身,而不属于某个序列——同一个角色在所有使用它的序列中音色一致。
1. 声音从哪里来
- 自动设计:序列生成时,若开启声音功能,系统会为每个有台词的角色自动运行 Voice Design,从角色档案(bible)的描述推导声线
- 手动设计 / 挑选:在角色详情页,你可以编辑声音描述让 AI 重新设计,或直接从 ElevenLabs 声音目录(Voice Library)挑选一个现成的声线
- 两种供应商:ElevenLabs(账号声音槽位)和 Seed Audio(BytePlus)。Seed 声音通过三段参考录音(normal / quiet / loud)固定角色音色,见 src/cast/seed-voice.ts
2. 声线与情绪匹配
这是很"电影感"的细节:合成对白时,系统会根据台词的情绪选择参考音色——
- 耳语、悄悄话(whisper)→ 使用 quiet 参考片段
- 喊叫、生气、激动(shout / angry / excited)→ 使用 loud 参考片段
- 悲伤、温柔、疲惫等 → 使用 normal 片段,用文字描述情绪
映射规则见 src/cast/seed-voice.ts 的 moodForTone 函数:情绪匹配让同一角色的低声细语和愤怒喊话听起来自然而统一。
3. 团队角色库
所有角色都归属团队,主导航的 Characters 列出全部角色(最近使用的在前)。点开可以看到它出现在哪些序列、多少镜头。在 Cast 面板、新建序列界面或剧本中用 @ 输入,都可以把已有角色(连同它的脸、图板和声音)带入新序列。相关逻辑见 src/cast/team-characters.fn.ts,文档见 docs/user-guide/cast.md。
四、镜头对白:录制每一句台词
角色有了声线,还要把剧本里的每一句台词说出口。
- 镜头分析阶段,AI 从剧本提取对白,生成该镜头的对白行列表(谁、什么语气、说什么)
- 在镜头(Shot)下方的对白面板,你可为整个镜头选择音频来源:
- 生成的录音(默认):按角色声线批量合成整段对白
- 用户上传的音频:用真实录音替换
- 交给视频模型即兴发声:由具备音频能力的视频模型自己"演"出声音
- 不满意的台词可以单独重录;系统还会用转录比对检查每一句是否被"清楚地说出",可疑的行会标记 "May not be said clearly" 供你重录
对白面板实现见 src/shots/ui/motion-dialogue-panel.tsx,情绪与音色匹配见 docs/architecture/seed-voices.md。
五、合并与导出:在 Theatre 拿到成片
声音和画面都就绪后,最后一步是合成:
- 在 Music 选项卡点击 Merge with Video:系统按场景顺序拼接所有运动片段,混入音乐轨,产出最终
.mp4 - 到 Theatre 选项卡预览合并后的完整视频;合并中显示 "Merging video segments...",完成后即可播放
- 右上角 Download 菜单支持 Download MP4(文件以序列标题命名,如
My_Sequence_openstory.mp4)和 Copy link - 若团队配置了 Upload-Post 密钥,还能直接 Publish to social… 发布到 YouTube、TikTok 等
另外,序列上的 includeMusic 开关控制音乐是否出现在剧场预览和 MP4 导出中。Theatre 的完整说明见 docs/user-guide/theatre.md。
六、费用提示
声音功能同样消耗积分(或你的 API Key):
- 音乐:ElevenLabs Music 按分钟计费($0.15/分钟,向上取整)
- TTS:ElevenLabs 按每 1000 字符计费;Seed Speech 按秒计费($0.0025/秒)
- Voice Design:每次设计调用计费
- 被丢弃的"试音"(take)不向团队计费,被保留的才计费
在 Credits 页面可随时查看余额与交易明细,说明见 docs/user-guide/credits-and-billing.md。
总结:完整的声音设计流程
| 步骤 | 操作 | 位置 |
|---|---|---|
| 1️⃣ | 生成/编辑音乐提示词,生成 BGM | Music 选项卡 |
| 2️⃣ | 为角色设计或挑选声线 | Cast 角色详情 / Characters |
| 3️⃣ | 核对并录制镜头对白 | 镜头对白面板 |
| 4️⃣ | 合并视频与音乐 | Merge with Video |
| 5️⃣ | 预览、下载或发布 | Theatre 选项卡 |
OpenStory 把"画面、对白、配乐"统一在同一个序列工作流里,让你无需剪辑软件,就能为 AI 视频配上一套完整的声音设计。想深入音乐工作流,可阅读 src/audio/server/workflows/music-workflow.ts 与 src/audio/music-prompt.ts。



