AI配音怎么配才自然?sweety-handdraw-video六款内置音色与本地TTS(VoxCPM2/VoiceStudio)接入指南

原创2026-10-26 15:48:451,707 阅读

AI配音怎么配才自然?sweety-handdraw-video六款内置音色与本地TTS(VoxCPM2/VoiceStudio)接入指南

sweety-handdraw-video 是一个从主题或文章制作完整手绘讲解视频的开源项目:按部位描线、逐字书写,再配上自然的旁白。它的配音流程支持六款内置音色,并提供两条本地 TTS 接入路径——本机 VoiceStudio 服务与已安装的 VoxCPM2 模型,全程离线、不依赖云端账号。

sweety-handdraw-video 手绘讲解视频风格总览

为什么你的AI配音总是一股“机器味”?

大多数僵硬配音都源于同一个错误:按页、按句拼接生成。sweety-handdraw-video 的旁白规则恰好是反面教材式的解法,四条原则:

原则 说明
🎬 整篇一次合成 完整口播稿一次性提交,不按画面或字幕切片
🌬️ 保留自然呼吸 换气、语义停顿、句尾都保留,不为画面补空白
🎧 声音决定节奏 先锁旁白母带,画面、字幕、落笔时间都跟随音频
🔇 默认纯旁白 不自动添加背景音乐,交付时明确告知

详细约束见 audio-and-ending.md 与 continuous-narration.md。

手绘视频描线手部素材与配音节奏配合

六款内置音色怎么选:一张表看懂

音色目录固定在 catalog.json,来源与试听规则记录在 voice-sources.md:

名称 ID 听感定位 适用场景 试听方式
逼真男声 realistic-man 沿用《那条死于愤怒的蛇》成片男声 故事类叙事 成片节选
逼真女声 bilibili-outro 原片提取人声(当前暂用,听感待调整) 冷色故事 成片节选
甜美学姐 sweet-student 明亮亲切 课堂、轻科普 同文试听
Iapetus(默认) iapetus 清晰、平稳 知识讲解、结构化信息 同文试听
知性女讲师 calm-woman 中低音沉静 知识、观点输出 同文试听
故事解说 story-narrator 语速较快 故事类解说 同文试听

⚠️ 两款“逼真”声音的原始录音只在本机保存,没有导入原片参考时只能试听、不能用于生成;其余四款提供可下载的合成参考(清单见 hosted-manifest.json)。

每个音色都附带一段“参考文本”,例如 iapetus.txt 中的烂梨小故事——它就是模型锁定音色的“音色锚点”。

路径一:VoiceStudio 本机服务接入步骤

VoiceStudio 是一个本地 HTTP 配音服务,适配器默认访问 http://127.0.0.1:3900,当前已对接 mlx-audio / mlx-community/Qwen3-TTS-12Hz-12Hz-1.7B-Base-bf16 引擎。

接入条件:本机有兼容的 VoiceStudio 服务,需提供 /engines/tts、/generate 及可选 /transcribe 接口(同名软件不一定兼容)。

python3 scripts/voice_studio.py JOB --transcribe

要点:

  • 它只读取当前引擎配置,不启动应用、不下载模型、不读凭据;
  • 适配器会把全部文本按原顺序合并为一次完整生成请求,输出到 narration.source(默认 inputs/narration/master.wav);
  • 按“完整文本 + 参数 + 参考音频哈希”缓存,改一个参数才会重新合成。

实现见 voice_studio.py。

路径二:本地 VoxCPM2 模型接入步骤

VoiceStudio 不可达时,可以使用已安装并明确配置的本地 VoxCPM2 模型(作者在 Mac 上实测的 MLX 8-bit 路径)。

前置条件:Python 环境已有 mlx-audio、mlx、soundfile,且模型已下载到本地。

任务配置(job.json):

{
  "voxcpm": {
    "model_path": "实际已安装的模型目录",
    "voice": "story-narrator",
    "timesteps": 10,
    "cfg_value": 2.0
  }
}
python scripts/voxcpm_voice.py JOB

几个影响自然度的参数(实现见 voxcpm_voice.py):

参数 默认值 作用
mode combined 原参考 + 准确逐字稿共同约束音色;reference 模式需明确选择
timesteps 10 推理步数,影响音质与耗时
cfg_value 2.0 参考贴合度
seed 2026 固定种子便于复现
max_tokens 6500 生成长度上限,不代表实际完整

💡 小坑提示:当参考音频与稿件开头重合时,continuation 容易跳过开头,生成后务必另查开头一句。可选配置 enhancement_model_path 指向已安装的 DeepFilterNet3 做 48kHz 降噪后处理,不自动下载。

导入自己的参考声音(可选进阶)

想把某款音色替换成自己的参考录音?用导入脚本把参考音频 + 逐字稿绑定哈希导入:

python3 scripts/import_voice.py JOB --id realistic-man --name "逼真男声" \
  --audio reference.wav --transcript reference.txt --kind source_recording
  • 结果写入 options/local-voices.json,只覆盖六项中的同名参考,不能新增第七项;
  • 个人主力音色可放在 ~/.local/share/sweety-handdraw-video/voices/catalog.json,其中 default 即本机主力音色,默认优先采用;
  • 导入后音频或逐字稿一旦改变必须重新导入,参考变了哈希对不上会直接报错。

生成之后:自然度验收清单

合成完成不等于验收通过,按 local-runtime.md 的验收流程逐项核对:

  • ✅ 全文与句尾:用实际转写核对漏读、重复、截断,不能只靠 ASR 完整就放行;
  • ✅ 尾部保护:母带至少保留末次可测发声后 0.12 秒;audio.end_hold_seconds 默认 0.45 秒,成片末尾静音总长不超过 1.2 秒;
  • ✅ 时间戳映射:生成 alignment.json,逐句时间相对母带起点,字幕与换图跟随实际音频边界;
  • ✅ 听感单独记录:波形连续、码流正常都不能替代主观听感,未听音的状态保持“待验收”。

总结:自然配音 = 整篇合成 + 参考锚定 + 声音先行

  • 音色选 Iapetus(默认,知识讲解稳)或 甜美学姐(课堂轻科普),故事类可用 故事解说;
  • 后端优先 VoiceStudio 本机服务,缺环境再走 VoxCPM2 本地模型,两者都要求整篇一次生成;
  • 参考音频与逐字稿逐字对应,是音色稳定的关键;
  • 声音锁定后再排画面与字幕,节奏自然就不“机器”。

更多运行细节可查 local-runtime.md、voice-sources.md 和项目入口 SKILL.md。

登录后查看全文
sweety-handdraw-video