仅需5秒参考音频:如何用Audio8-TTS-Preview-0.1b-bf16实现零样本声音克隆?
仅需5秒参考音频:如何用Audio8-TTS-Preview-0.1b-bf16实现零样本声音克隆?
Audio8-TTS-Preview-0.1b-bf16 是面向 Apple Silicon 优化的零样本声音克隆语音合成模型,只需一段约 5 秒的参考音频和它的文字稿,就能用同一音色朗读任意中文或英文文本。本文带你快速上手这个 170M 参数的 MLX 版本 TTS 模型。
🎯 为什么选择这个模型?
简单来说,它把"声音克隆 + 多语言合成 + 苹果芯片加速"三件事打包进一个轻量仓库:
| 特性 | 说明 |
|---|---|
| ⚡ 轻量快速 | 语言模型仅 170M 参数,总体积约 1.7 GB,RTF 低至 0.28(生成 1 秒音频约需 0.28 秒) |
| 🗣️ 零样本声音克隆 | 无需训练,一段参考音频即可复刻音色 |
| 🌍 多语言支持 | 主打中、英,实验性支持德、西、法、意、日、韩 |
| 🔊 高音质 | 自带 44.1 kHz 神经音频编解码器,接近 CD 级采样率 |
| 🍎 Apple Silicon 原生优化 | MLX 格式(bf16),在 M 系列芯片上跑得飞快 |
🧠 零样本声音克隆是怎么工作的?
传统声音克隆需要针对某个人的声音专门训练,而零样本(Zero-Shot)声音克隆只需要两样东西:
- 参考音频(ref_audio):一段约 5 秒的目标说话人录音(WAV 格式)
- 参考文字稿(ref_text):这段录音对应的文字,两者必须严格匹配
模型会从参考音频中"听出"音色特征,然后让任意新文本以同样音色朗读出来。整个过程不更新任何权重,即"零样本"的含义。
在仓库中,参考音频的编码由随模型捆绑的神经编解码器完成,对应文件为 codec.safetensors;模型的架构与超参数定义在 config.json 中——它采用 arktts 架构,慢速主干为 Falcon-H1 混合栈(每层融合 Mamba-2 混合器、注意力与 MLP),4 层快速自回归网络负责逐帧预测 10 个 codec 码本。
📦 环境准备:一键安装
前提条件:macOS + Apple Silicon(M1/M2/M3/M4 系列)芯片。
模型使用 MLX 框架,需要先安装 mlx-audio 库。⚠️ 注意:本模型要求 slow_backbone: falcon_h1 支持,因此需从源码安装最新版:
pip install "git+https://github.com/Blaizzy/mlx-audio@main"
💡 如果你的 mlx-audio 版本过旧,加载权重时会直接报错(不会悄悄生成劣质音频),这是好事——装上正确版本即可。
如果本地运行不便,也可以先克隆模型仓库体验配置:
git clone https://gitcode.com/hf_mirrors/mlx-community/Audio8-TTS-Preview-0.1b-bf16
🚀 五步完成你的第一次声音克隆
完整用法见 README.md,核心流程只有 5 步:
第 1 步:加载模型
from mlx_audio.tts.utils import load
model = load("mlx-community/Audio8-TTS-Preview-0.1b-bf16")
第 2 步:准备参考音频
录一段约 5 秒、无背景噪音的清晰人声,保存为 reference.wav,并逐字写下它的内容。
第 3 步:调用 generate 方法
for result in model.generate(
text="欢迎使用 Audio8 TTS,运行在 Apple Silicon 上。",
ref_audio="reference.wav",
ref_text="参考音频对应的文字内容。",
temperature=0.7, top_p=0.9, top_k=50,
):
第 4 步:保存音频
import soundfile as sf
sf.write("output.wav", result.audio, result.sample_rate)
第 5 步:播放试听 🎧
打开 output.wav——你的文本已经用参考音频里那个人的声音读出来了。
🔑 小贴士:不传
ref_audio参数时,模型会使用内置默认音色直接合成,适合先快速验证环境是否跑通。
⚙️ 关键生成参数速查
采样参数会影响语气的自然度与稳定性,推荐值来自 generation_config.json:
| 参数 | 推荐值 | 作用 |
|---|---|---|
temperature |
0.7 | 控制随机性,越高语气越有变化,但可能出现不稳定 |
top_p |
0.9 | 核采样阈值,过滤低概率候选 |
top_k |
50 | 每步只在概率最高的 50 个候选中挑选 |
max_new_tokens |
512 | 单次生成的最长 token 数 |
⚖️ 0.1b 还是 0.6b?如何选型
如果你追求更相似的音色,0.6b 版本是更高质量的选择(说话人相似度 Seed-TTS SIM:0.6b 为 63.2 英文 / 73.1 中文,0.1b 为 56.7 / 68.2)。但 0.1b 在速度和体积上更友好:
| 指标 | 0.6b | 0.1b |
|---|---|---|
| 下载体积 | 2.6 GB | 1.7 GB |
| RTF(实时率) | 0.33 | 0.28 |
| 峰值内存 | 8.17 GB | 7.59 GB |
由于两者共用同一个 1.35 GB 的 fp32 编解码器,内存优势有限——0.1b 的真正卖点是下载快、推理略快,适合带宽和磁盘敏感的场景。
📋 许可条款与合规提醒
使用模型前请务必阅读 LICENSE(Audio8 Community License v1.0):
- ✅ 非商业用途:完全免费
- ✅ 商业用途:年营收低于 200 万美元的实体免费商用
- ⛔ 年营收达到或超过 200 万美元:需另行申请书面商业授权
- 📄 捆绑的 codec 权重为 Apache-2.0 许可
- 🛡️ 负责任使用条款:未经本人同意,不得用于冒充他人;需按要求披露 AI 生成内容
📁 仓库文件结构一览
| 文件 | 用途 |
|---|---|
| model.safetensors | 语言模型权重(bf16,170M 参数) |
| codec.safetensors | 44.1 kHz 神经音频编解码器 |
| tokenizer.json / tokenizer_config.json | 分词器及配置 |
| config.json | 模型架构与超参数 |
| generation_config.json | 推荐采样参数 |
| LICENSE | Audio8 社区许可证(含中文对照) |
✅ 总结
Audio8-TTS-Preview-0.1b-bf16 用不到 2 GB 的体积和 5 秒参考音频,让"零样本声音克隆"在 Mac 上变得触手可及:安装 mlx-audio、传入 ref_audio 与 ref_text、一行 generate 出结果。个人项目、播客配音、多语言内容创作,它都是一个轻快上手的起点。现在就可以录一段 5 秒人声,体验属于你的专属音色!