Step-Audio-EditX-8bit零样本声音克隆实战:用参考音频克隆同一音色,相似度最高0.97
Step-Audio-EditX-8bit零样本声音克隆实战:用参考音频克隆同一音色,相似度最高0.97
Step-Audio-EditX-8bit 是 StepFun 3B 音频大模型的 MLX int8 量化模型包,让零样本声音克隆直接在 Apple Silicon 的 Mac 上本地运行:只需一段参考音频,它就能用同一音色"重新演绎"你的内容——改情绪、加笑声叹气、降噪、剪静音都可以。实测说话人相似度最高 0.97,生成速度还快于实时。
🎯 它是什么:3B 音频大模型的 8bit 精简版
Step-Audio-EditX 是一个 30 亿参数的音频 LLM(Apache-2.0 许可),专长是对一段已有音频进行"重新演绎":
- 调整情绪与说话风格
- 插入笑声、叹息、呼吸等副语言声音
- 降噪、修剪静音
- 零样本声音克隆:无需训练,几秒参考音频即可"以同一音色说出新内容"
Step-Audio-EditX-8bit 把其中最耗资源的 step1 语言模型从 bf16 量化到 8-bit(affine 量化、组大小 64,见 config.json),model.safetensors 从 7.06 GB 缩小到 3.75 GB;而双 tokenizer、flow、HiFT、CAM++ 等组件保持 bf16 不变。一句话:下载量近乎减半,质量基本无损。
📊 实测数据:量化后与 bf16 同档
以下数据在 M5 Max 上、使用官方评测语句(E19 cues)测得:
| 指标 | 8bit 实测 | bf16 参考 |
|---|---|---|
| 说话人相似度 | 0.83 – 0.97 | 同档 |
| ASR 内容错误 | 0.000 | 0.000 |
| DNSMOS 音质 | 3.45 – 3.49 | 同档 |
| 实时因子(RTF) | 0.51 – 0.53 | 0.72 – 0.75 |
| 加载后常驻内存 | 6.2 GB | — |
| 单次编辑峰值内存 | 7.3 – 7.7 GB | — |
| 加载耗时 | 约 0.5 秒 | — |
两个实用结论:RTF 小于 1,意味着生成快于实时(1 分钟音频约 30 秒内出结果);int8 量化只会在极少数"势均力敌"的采样点上与 bf16 产生不同 token,属于量化版本的正常现象,不影响听感。
🧩 文件全景:一条完整的音频克隆流水线
这个仓库是一个"即取即用"的模型包,每个组件都有对应文件,整条流水线一目了然:
| 文件 | 组件 | 作用 |
|---|---|---|
| model.safetensors + config.json | step1 语言模型(3B,int8) | 核心大脑:32 层 × 3072 维、48 注意力头,理解音频与文本并生成新音频 token |
| vq02.safetensors + vq02-config.json | 基于 Paraformer 的音频编码器 | 将 16 kHz 音频编码为离散 token |
| vq06.safetensors + vq06-config.json | Step-Audio-Tokenizer | 每秒 25 个 token、4096 码本,更细的音色编码 |
| step-audio-tokenizer-assets.safetensors | tokenizer 共享资产 | 供上面两个编码器使用 |
| flow-model.safetensors + flow-conditioner.safetensors | Flow 匹配模型 | 结合 token 与说话人特征合成 mel 频谱 |
| hift.safetensors + hift-config.json | HiFT 声码器 | 从 mel 频谱还原 24 kHz 波形 |
| campplus.safetensors + campplus-config.json | CAM++ 说话人模型 | 从参考音频提取 192 维说话人特征 |
| tokenizer.json / tokenizer_config.json | 文本分词器 | 文本的输入输出 |
| frontend-config.json | mel 前端 | 80 维 mel 特征提取 |
用一句话串起来:参考音频经 CAM++ 提取说话人特征,原音频经双 tokenizer 变成 token,3B 语言模型按你的指令"重新演绎",最后由 flow + HiFT 还原成 24 kHz 波形。
🚀 快速上手:三步加载 8bit 声音克隆模型
硬件要求:Apple Silicon(M 系列)Mac,建议 16 GB 以上统一内存;该模型包在 M5 Max 上完成官方测试。
第一步:下载模型文件包
git lfs install
git clone --depth 1 https://gitcode.com/hf_mirrors/mlx-community/Step-Audio-EditX-8bit
仅语言模型就是 3.75 GB,克隆前请预留足够磁盘空间。
第二步:选择运行端(Consumer)
- Swift:mlx-step-audio-editx-swift(≥ 0.1.1)中的
EditXPipeline.load(bundle:)会自动从 config.json 读取 8bit 量化参数,无需额外配置; - Python:
mlx-speech可直接加载同布局的 int8 模型包(其--bits 8转换器写入的就是相同的键)。
第三步:加载并冒烟测试
加载后常驻内存约 6.2 GB、加载耗时约 0.5 秒。建议先生成一小段音频试听,确认音色与内容无误后再跑完整任务。
🎙️ 零样本克隆实战:4 步得到"同一个声音"
- 准备参考音频:3–10 秒干净人声(要点见下节);
- 下达编辑指令:例如"用更开心的语气重读这段话""降噪并去掉开头静音""在句前插入一声轻叹气";
- 等待重新演绎:实时因子约 0.5,1 分钟音频 30 秒内即可生成;
- 验收结果:内容是否完整、音色是否贴近参考音频,不满意可调整指令重新生成。
✅ 参考音频怎么选:让相似度逼近 0.97 的 5 个要点
- 干净录音:无背景音乐、无噪声、无回声,录音越干净,说话人特征提取越准;
- 长度适中:3–10 秒足够,长音频会按最长 30 秒的块切分处理,并非越长越好;
- 环境一致:参考音频与目标内容的收音环境越接近(同为室内近讲或播客音色),输出越稳定;
- 语速接近:参考音频的语速、音高越接近目标内容,再演绎越自然;
- 人耳终审:0.97 是 CAM++ 说话人嵌入相似度,属于客观指标,请配合试听一起判断——0.83–0.97 为通过区间,≥ 0.90 属优秀。
❓ 常见问题 FAQ
Windows / Linux 上能跑吗? 该模型包是 MLX 生态、面向 Apple Silicon 的构建(int8 权重即由 MLX 侧生成并加载)。非 Mac 用户请选用原始 bf16 版本的模型与推理框架。
int8 量化会损失质量吗? 实测说话人相似度、ASR 错误率、DNSMOS 音质均与 bf16 持平;仅极少数临界采样 token 有差异,听感无影响。
内存要多少? 实测加载后常驻 6.2 GB,单次编辑峰值 7.3–7.7 GB,建议 16 GB 以上统一内存。
可以商用吗? 语言模型、flow、HiFT 与 S3 tokenizer 为 Apache-2.0;Paraformer 编码器遵循 FunASR 模型许可;CAM++ 为 Apache-2.0。使用前请查看 README.md 中的许可说明。
📌 小结
Step-Audio-EditX-8bit 让零样本声音克隆在 Apple Silicon 上落地:下载量比 bf16 版本近乎减半、生成快于实时、质量与全精度同档——说话人相似度最高 0.97。手头有一段参考音频的话,按上文的三步走流程,几分钟内就能让"同一个声音"说出全新的内容。