OpenStory音乐与角色配音指南:让AI视频拥有完整声音设计

原创2026-11-02 16:46:581,456 阅读

OpenStory音乐与角色配音指南:让AI视频拥有完整声音设计

OpenStory 是一个开源的 AI 视频序列生成平台(基于 TanStack Start 构建),除了把剧本变成画面,它还能完成"声音设计"的最后一公里:为视频生成背景音乐与音效,以及为角色配音(Character Voice)并录制对白。本指南面向新手,带你从零走完"音乐 + 角色配音 + 合成导出"的完整流程,无需任何代码基础。

OpenStory 新建序列界面,可见 Motion + Music 选项与风格选择

上图新建序列界面的 Motion + Music 开关,就是声音流程的入口:开启后,系统在生成画面的同时会规划音乐生成。

一、理解 OpenStory 的声音体系

OpenStory 的声音设计由三层组成,全部在界面上可视化操作:

层级 说明 操作位置
🎵 背景音乐 / 音效 AI 根据剧本情绪自动生成音乐提示词,可换模型、换风格 Music 选项卡
🎙️ 角色声音 为每个角色设计或挑选一个固定声线(Voice) Cast 角色详情 / Characters 库
💬 对白录音 把镜头里的台词按角色声线批量合成 镜头(Shot)下的对白面板

最终所有声音会在 Theatre(剧场)选项卡与视频合并,导出为带音轨的 .mp4。

二、Music 选项卡:三步生成背景音乐

1. 自动生成的音乐提示词

OpenStory 在剧本分析阶段就会自动生成一段音乐提示词(prompt)和风格标签(tags),例如 "cinematic, ambient, dramatic"。你不需要自己写——打开序列的 Music 选项卡就能看到。

2. 调整参数并生成

提示词就绪后,界面上有四个可编辑项:

  • 可编辑的提示词:描述你想要的配乐,如"低沉的大提琴,渐强的鼓点"
  • 标签(Tags):AI 生成的流派 / 情绪标签,可自行增删
  • 模型选择器:不同音乐模型的时长上限与能力不同
  • 时长(Duration):默认等于视频总时长;若超过模型上限会给出提示,例如:

Video is 95s but lyria_2 max is 30s — music will be clamped.

点击 Generate Music 后异步生成,完成即可用内置播放器试听。不满意可 Regenerate Music,或切换模型重新生成;也可以先试听多个模型的版本,再把满意的那个 Set 为主音轨。

3. 主流音乐模型对比

模型 厂商 最大时长 特点
ElevenLabs Music ElevenLabs 10 分钟 基于提示词,纯器乐(默认)
MiniMax Music v2 MiniMax 5 分钟 提示词 + 歌词
ACE-Step 1.5 ACE Studio 4 分钟 开源权重,支持歌词
Lyria 2 Google 30 秒 短片、器乐
MMAudio V2 MMAudio 8 秒 视频转音效(SFX)
ElevenLabs SFX ElevenLabs 22 秒 音效

💡 小贴士:长片配乐选 ElevenLabs Music;需要人声歌词选 MiniMax Music v2 或 ACE-Step;镜头级音效(开门声、雨声)用 SFX 类模型。

音乐功能的源码位于 src/audio/,界面实现见 src/audio/ui/music-view.tsx,用户文档为 docs/user-guide/music.md。

录音室电容麦克风,代表角色配音的"声音"主题

三、角色配音:给每个角色一个固定声线

角色配音是 OpenStory 声音设计的核心:声线属于角色本身,而不属于某个序列——同一个角色在所有使用它的序列中音色一致。

1. 声音从哪里来

  • 自动设计:序列生成时,若开启声音功能,系统会为每个有台词的角色自动运行 Voice Design,从角色档案(bible)的描述推导声线
  • 手动设计 / 挑选:在角色详情页,你可以编辑声音描述让 AI 重新设计,或直接从 ElevenLabs 声音目录(Voice Library)挑选一个现成的声线
  • 两种供应商:ElevenLabs(账号声音槽位)和 Seed Audio(BytePlus)。Seed 声音通过三段参考录音(normal / quiet / loud)固定角色音色,见 src/cast/seed-voice.ts

2. 声线与情绪匹配

这是很"电影感"的细节:合成对白时,系统会根据台词的情绪选择参考音色——

  • 耳语、悄悄话(whisper)→ 使用 quiet 参考片段
  • 喊叫、生气、激动(shout / angry / excited)→ 使用 loud 参考片段
  • 悲伤、温柔、疲惫等 → 使用 normal 片段,用文字描述情绪

映射规则见 src/cast/seed-voice.ts 的 moodForTone 函数:情绪匹配让同一角色的低声细语和愤怒喊话听起来自然而统一。

3. 团队角色库

所有角色都归属团队,主导航的 Characters 列出全部角色(最近使用的在前)。点开可以看到它出现在哪些序列、多少镜头。在 Cast 面板、新建序列界面或剧本中用 @ 输入,都可以把已有角色(连同它的脸、图板和声音)带入新序列。相关逻辑见 src/cast/team-characters.fn.ts,文档见 docs/user-guide/cast.md。

角色设定图板(三视图),角色的脸、图板与声线都保存在角色上

四、镜头对白:录制每一句台词

角色有了声线,还要把剧本里的每一句台词说出口。

  1. 镜头分析阶段,AI 从剧本提取对白,生成该镜头的对白行列表(谁、什么语气、说什么)
  2. 在镜头(Shot)下方的对白面板,你可为整个镜头选择音频来源:
    • 生成的录音(默认):按角色声线批量合成整段对白
    • 用户上传的音频:用真实录音替换
    • 交给视频模型即兴发声:由具备音频能力的视频模型自己"演"出声音
  3. 不满意的台词可以单独重录;系统还会用转录比对检查每一句是否被"清楚地说出",可疑的行会标记 "May not be said clearly" 供你重录

对白面板实现见 src/shots/ui/motion-dialogue-panel.tsx,情绪与音色匹配见 docs/architecture/seed-voices.md。

五、合并与导出:在 Theatre 拿到成片

声音和画面都就绪后,最后一步是合成:

  1. 在 Music 选项卡点击 Merge with Video:系统按场景顺序拼接所有运动片段,混入音乐轨,产出最终 .mp4
  2. 到 Theatre 选项卡预览合并后的完整视频;合并中显示 "Merging video segments...",完成后即可播放
  3. 右上角 Download 菜单支持 Download MP4(文件以序列标题命名,如 My_Sequence_openstory.mp4)和 Copy link
  4. 若团队配置了 Upload-Post 密钥,还能直接 Publish to social… 发布到 YouTube、TikTok 等

另外,序列上的 includeMusic 开关控制音乐是否出现在剧场预览和 MP4 导出中。Theatre 的完整说明见 docs/user-guide/theatre.md。

AI 生成的镜头画面示例,可与对白和配乐混合导出

六、费用提示

声音功能同样消耗积分(或你的 API Key):

  • 音乐:ElevenLabs Music 按分钟计费($0.15/分钟,向上取整)
  • TTS:ElevenLabs 按每 1000 字符计费;Seed Speech 按秒计费($0.0025/秒)
  • Voice Design:每次设计调用计费
  • 被丢弃的"试音"(take)不向团队计费,被保留的才计费

在 Credits 页面可随时查看余额与交易明细,说明见 docs/user-guide/credits-and-billing.md。

总结:完整的声音设计流程

步骤 操作 位置
1️⃣ 生成/编辑音乐提示词,生成 BGM Music 选项卡
2️⃣ 为角色设计或挑选声线 Cast 角色详情 / Characters
3️⃣ 核对并录制镜头对白 镜头对白面板
4️⃣ 合并视频与音乐 Merge with Video
5️⃣ 预览、下载或发布 Theatre 选项卡

OpenStory 把"画面、对白、配乐"统一在同一个序列工作流里,让你无需剪辑软件,就能为 AI 视频配上一套完整的声音设计。想深入音乐工作流,可阅读 src/audio/server/workflows/music-workflow.ts 与 src/audio/music-prompt.ts。

登录后查看全文
openstory