仅需5秒参考音频:如何用Audio8-TTS-Preview-0.1b-bf16实现零样本声音克隆?

原创2026-10-17 17:08:302,331 阅读

仅需5秒参考音频:如何用Audio8-TTS-Preview-0.1b-bf16实现零样本声音克隆?

Audio8-TTS-Preview-0.1b-bf16 是面向 Apple Silicon 优化的零样本声音克隆语音合成模型,只需一段约 5 秒的参考音频和它的文字稿,就能用同一音色朗读任意中文或英文文本。本文带你快速上手这个 170M 参数的 MLX 版本 TTS 模型。

🎯 为什么选择这个模型?

简单来说,它把"声音克隆 + 多语言合成 + 苹果芯片加速"三件事打包进一个轻量仓库:

特性 说明
⚡ 轻量快速 语言模型仅 170M 参数,总体积约 1.7 GB,RTF 低至 0.28(生成 1 秒音频约需 0.28 秒)
🗣️ 零样本声音克隆 无需训练,一段参考音频即可复刻音色
🌍 多语言支持 主打中、英,实验性支持德、西、法、意、日、韩
🔊 高音质 自带 44.1 kHz 神经音频编解码器,接近 CD 级采样率
🍎 Apple Silicon 原生优化 MLX 格式(bf16),在 M 系列芯片上跑得飞快

🧠 零样本声音克隆是怎么工作的?

传统声音克隆需要针对某个人的声音专门训练,而零样本(Zero-Shot)声音克隆只需要两样东西:

  1. 参考音频(ref_audio):一段约 5 秒的目标说话人录音(WAV 格式)
  2. 参考文字稿(ref_text):这段录音对应的文字,两者必须严格匹配

模型会从参考音频中"听出"音色特征,然后让任意新文本以同样音色朗读出来。整个过程不更新任何权重,即"零样本"的含义。

在仓库中,参考音频的编码由随模型捆绑的神经编解码器完成,对应文件为 codec.safetensors;模型的架构与超参数定义在 config.json 中——它采用 arktts 架构,慢速主干为 Falcon-H1 混合栈(每层融合 Mamba-2 混合器、注意力与 MLP),4 层快速自回归网络负责逐帧预测 10 个 codec 码本。

📦 环境准备:一键安装

前提条件:macOS + Apple Silicon(M1/M2/M3/M4 系列)芯片。

模型使用 MLX 框架,需要先安装 mlx-audio 库。⚠️ 注意:本模型要求 slow_backbone: falcon_h1 支持,因此需从源码安装最新版:

pip install "git+https://github.com/Blaizzy/mlx-audio@main"

💡 如果你的 mlx-audio 版本过旧,加载权重时会直接报错(不会悄悄生成劣质音频),这是好事——装上正确版本即可。

如果本地运行不便,也可以先克隆模型仓库体验配置:

git clone https://gitcode.com/hf_mirrors/mlx-community/Audio8-TTS-Preview-0.1b-bf16

🚀 五步完成你的第一次声音克隆

完整用法见 README.md,核心流程只有 5 步:

第 1 步:加载模型

from mlx_audio.tts.utils import load

model = load("mlx-community/Audio8-TTS-Preview-0.1b-bf16")

第 2 步:准备参考音频

录一段约 5 秒、无背景噪音的清晰人声,保存为 reference.wav,并逐字写下它的内容。

第 3 步:调用 generate 方法

for result in model.generate(
    text="欢迎使用 Audio8 TTS,运行在 Apple Silicon 上。",
    ref_audio="reference.wav",
    ref_text="参考音频对应的文字内容。",
    temperature=0.7, top_p=0.9, top_k=50,
):

第 4 步:保存音频

import soundfile as sf
sf.write("output.wav", result.audio, result.sample_rate)

第 5 步:播放试听 🎧

打开 output.wav——你的文本已经用参考音频里那个人的声音读出来了。

🔑 小贴士:不传 ref_audio 参数时,模型会使用内置默认音色直接合成,适合先快速验证环境是否跑通。

⚙️ 关键生成参数速查

采样参数会影响语气的自然度与稳定性,推荐值来自 generation_config.json:

参数 推荐值 作用
temperature 0.7 控制随机性,越高语气越有变化,但可能出现不稳定
top_p 0.9 核采样阈值,过滤低概率候选
top_k 50 每步只在概率最高的 50 个候选中挑选
max_new_tokens 512 单次生成的最长 token 数

⚖️ 0.1b 还是 0.6b?如何选型

如果你追求更相似的音色,0.6b 版本是更高质量的选择(说话人相似度 Seed-TTS SIM:0.6b 为 63.2 英文 / 73.1 中文,0.1b 为 56.7 / 68.2)。但 0.1b 在速度和体积上更友好:

指标 0.6b 0.1b
下载体积 2.6 GB 1.7 GB
RTF(实时率) 0.33 0.28
峰值内存 8.17 GB 7.59 GB

由于两者共用同一个 1.35 GB 的 fp32 编解码器,内存优势有限——0.1b 的真正卖点是下载快、推理略快,适合带宽和磁盘敏感的场景。

📋 许可条款与合规提醒

使用模型前请务必阅读 LICENSE(Audio8 Community License v1.0):

  • ✅ 非商业用途:完全免费
  • ✅ 商业用途:年营收低于 200 万美元的实体免费商用
  • ⛔ 年营收达到或超过 200 万美元:需另行申请书面商业授权
  • 📄 捆绑的 codec 权重为 Apache-2.0 许可
  • 🛡️ 负责任使用条款:未经本人同意,不得用于冒充他人;需按要求披露 AI 生成内容

📁 仓库文件结构一览

文件 用途
model.safetensors 语言模型权重(bf16,170M 参数)
codec.safetensors 44.1 kHz 神经音频编解码器
tokenizer.json / tokenizer_config.json 分词器及配置
config.json 模型架构与超参数
generation_config.json 推荐采样参数
LICENSE Audio8 社区许可证(含中文对照)

✅ 总结

Audio8-TTS-Preview-0.1b-bf16 用不到 2 GB 的体积和 5 秒参考音频,让"零样本声音克隆"在 Mac 上变得触手可及:安装 mlx-audio、传入 ref_audio 与 ref_text、一行 generate 出结果。个人项目、播客配音、多语言内容创作,它都是一个轻快上手的起点。现在就可以录一段 5 秒人声,体验属于你的专属音色!

登录后查看全文
Audio8-TTS-Preview-0.1b-bf16