AI配音怎么配才自然?sweety-handdraw-video六款内置音色与本地TTS(VoxCPM2/VoiceStudio)接入指南
AI配音怎么配才自然?sweety-handdraw-video六款内置音色与本地TTS(VoxCPM2/VoiceStudio)接入指南
sweety-handdraw-video 是一个从主题或文章制作完整手绘讲解视频的开源项目:按部位描线、逐字书写,再配上自然的旁白。它的配音流程支持六款内置音色,并提供两条本地 TTS 接入路径——本机 VoiceStudio 服务与已安装的 VoxCPM2 模型,全程离线、不依赖云端账号。
为什么你的AI配音总是一股“机器味”?
大多数僵硬配音都源于同一个错误:按页、按句拼接生成。sweety-handdraw-video 的旁白规则恰好是反面教材式的解法,四条原则:
| 原则 | 说明 |
|---|---|
| 🎬 整篇一次合成 | 完整口播稿一次性提交,不按画面或字幕切片 |
| 🌬️ 保留自然呼吸 | 换气、语义停顿、句尾都保留,不为画面补空白 |
| 🎧 声音决定节奏 | 先锁旁白母带,画面、字幕、落笔时间都跟随音频 |
| 🔇 默认纯旁白 | 不自动添加背景音乐,交付时明确告知 |
详细约束见 audio-and-ending.md 与 continuous-narration.md。
六款内置音色怎么选:一张表看懂
音色目录固定在 catalog.json,来源与试听规则记录在 voice-sources.md:
| 名称 | ID | 听感定位 | 适用场景 | 试听方式 |
|---|---|---|---|---|
| 逼真男声 | realistic-man |
沿用《那条死于愤怒的蛇》成片男声 | 故事类叙事 | 成片节选 |
| 逼真女声 | bilibili-outro |
原片提取人声(当前暂用,听感待调整) | 冷色故事 | 成片节选 |
| 甜美学姐 | sweet-student |
明亮亲切 | 课堂、轻科普 | 同文试听 |
| Iapetus(默认) | iapetus |
清晰、平稳 | 知识讲解、结构化信息 | 同文试听 |
| 知性女讲师 | calm-woman |
中低音沉静 | 知识、观点输出 | 同文试听 |
| 故事解说 | story-narrator |
语速较快 | 故事类解说 | 同文试听 |
⚠️ 两款“逼真”声音的原始录音只在本机保存,没有导入原片参考时只能试听、不能用于生成;其余四款提供可下载的合成参考(清单见 hosted-manifest.json)。
每个音色都附带一段“参考文本”,例如 iapetus.txt 中的烂梨小故事——它就是模型锁定音色的“音色锚点”。
路径一:VoiceStudio 本机服务接入步骤
VoiceStudio 是一个本地 HTTP 配音服务,适配器默认访问 http://127.0.0.1:3900,当前已对接 mlx-audio / mlx-community/Qwen3-TTS-12Hz-12Hz-1.7B-Base-bf16 引擎。
接入条件:本机有兼容的 VoiceStudio 服务,需提供 /engines/tts、/generate 及可选 /transcribe 接口(同名软件不一定兼容)。
python3 scripts/voice_studio.py JOB --transcribe
要点:
- 它只读取当前引擎配置,不启动应用、不下载模型、不读凭据;
- 适配器会把全部文本按原顺序合并为一次完整生成请求,输出到
narration.source(默认inputs/narration/master.wav); - 按“完整文本 + 参数 + 参考音频哈希”缓存,改一个参数才会重新合成。
实现见 voice_studio.py。
路径二:本地 VoxCPM2 模型接入步骤
VoiceStudio 不可达时,可以使用已安装并明确配置的本地 VoxCPM2 模型(作者在 Mac 上实测的 MLX 8-bit 路径)。
前置条件:Python 环境已有 mlx-audio、mlx、soundfile,且模型已下载到本地。
任务配置(job.json):
{
"voxcpm": {
"model_path": "实际已安装的模型目录",
"voice": "story-narrator",
"timesteps": 10,
"cfg_value": 2.0
}
}
python scripts/voxcpm_voice.py JOB
几个影响自然度的参数(实现见 voxcpm_voice.py):
| 参数 | 默认值 | 作用 |
|---|---|---|
mode |
combined |
原参考 + 准确逐字稿共同约束音色;reference 模式需明确选择 |
timesteps |
10 | 推理步数,影响音质与耗时 |
cfg_value |
2.0 | 参考贴合度 |
seed |
2026 | 固定种子便于复现 |
max_tokens |
6500 | 生成长度上限,不代表实际完整 |
💡 小坑提示:当参考音频与稿件开头重合时,
continuation容易跳过开头,生成后务必另查开头一句。可选配置enhancement_model_path指向已安装的 DeepFilterNet3 做 48kHz 降噪后处理,不自动下载。
导入自己的参考声音(可选进阶)
想把某款音色替换成自己的参考录音?用导入脚本把参考音频 + 逐字稿绑定哈希导入:
python3 scripts/import_voice.py JOB --id realistic-man --name "逼真男声" \
--audio reference.wav --transcript reference.txt --kind source_recording
- 结果写入
options/local-voices.json,只覆盖六项中的同名参考,不能新增第七项; - 个人主力音色可放在
~/.local/share/sweety-handdraw-video/voices/catalog.json,其中default即本机主力音色,默认优先采用; - 导入后音频或逐字稿一旦改变必须重新导入,参考变了哈希对不上会直接报错。
生成之后:自然度验收清单
合成完成不等于验收通过,按 local-runtime.md 的验收流程逐项核对:
- ✅ 全文与句尾:用实际转写核对漏读、重复、截断,不能只靠 ASR 完整就放行;
- ✅ 尾部保护:母带至少保留末次可测发声后 0.12 秒;
audio.end_hold_seconds默认 0.45 秒,成片末尾静音总长不超过 1.2 秒; - ✅ 时间戳映射:生成
alignment.json,逐句时间相对母带起点,字幕与换图跟随实际音频边界; - ✅ 听感单独记录:波形连续、码流正常都不能替代主观听感,未听音的状态保持“待验收”。
总结:自然配音 = 整篇合成 + 参考锚定 + 声音先行
- 音色选 Iapetus(默认,知识讲解稳)或 甜美学姐(课堂轻科普),故事类可用 故事解说;
- 后端优先 VoiceStudio 本机服务,缺环境再走 VoxCPM2 本地模型,两者都要求整篇一次生成;
- 参考音频与逐字稿逐字对应,是音色稳定的关键;
- 声音锁定后再排画面与字幕,节奏自然就不“机器”。
更多运行细节可查 local-runtime.md、voice-sources.md 和项目入口 SKILL.md。

