ZONOS3-Mini 解码提速 3 倍:full_mr 与 keep2_plain 两种 iSTFT 头该如何选择
ZONOS3-Mini 解码提速 3 倍:full_mr 与 keep2_plain 两种 iSTFT 头该如何选择
ZONOS3-Mini 是 Zyphra 推出的紧凑型开源 TTS(语音合成)模型,约 1 亿活跃参数即可在手机、笔记本甚至浏览器里实时生成 43 种语言的自然语音,还支持声音克隆与逐词语气控制。真正部署时,绕不开一个选择:音频解码器 iSTFT 头到底用默认的 full_mr,还是剪枝版 keep2_plain?后者能让解码提速约 3 倍。本文带你 5 分钟看懂两者的结构差异、质量取舍和适用场景,并附完整的权重文件位置清单。
ZONOS3-Mini 推理流程:文本与说话人条件进入混合 GDN/注意力 MoE 主干,逐帧预测 10 路 codebook;每帧最后一个 codebook 生成完毕,iSTFT 头立刻把它渲染成音频。
先搞清楚:iSTFT 头在 TTS 链路里负责什么?
一句话:语言模型决定"说什么",iSTFT 头决定"听起来什么样"。
ZONOS3-Mini 的语言模型以 15 帧/秒的速率生成双码本 codec 帧(10 路 codebook、每路 4096 个码字),这些帧还只是"语音的离散描述",不是声音。把它们变成 44.1 kHz 真实波形的,是 ZAC 1(Zyphra Audio Codec 1)里的因果多分辨率 iSTFT 解码头:
- 多分辨率:5 个阶段逐级上采样(15 → 30 → 60 → 120 → 240 帧/秒),高频细节在更细的时间分辨率上补齐;
- 因果(causal):只依赖历史帧,帧一生成就能立刻出声,天然支持流式播放;
- iSTFT:用逆短时傅里叶变换还原波形,配合 Vocos 风格的对数幅度 + 相位建模。
ZAC 1 音频编解码器(Zyphra Audio Codec 1)架构。
full_mr:默认的高保真方案
full_mr 是开箱默认的解码头。它在 5 个分辨率阶段堆满了 Transformer 层:15 Hz 阶段 32 层,其余 4 个阶段各 12 层,合计 80 层,计算量更大,换来最完整的频谱细节和最高保真度,适合对音质敏感的正式交付场景。
对应的训练配置与权重:config_full_unfreezeall_mr.json、step_0050000.pt。
keep2_plain:解码提速 3 倍的剪枝方案
keep2_plain 的名字很直白——每个分辨率阶段只保留 2 层 Transformer(2 × 5 = 10 层),裁掉了解码侧绝大部分计算量,官方给出的效果是解码速度约为 3 倍,音质代价很小。它的训练配置名为 config_full_unfreezeall_mr_drop30_4x10.json("drop30" 即剪枝版本),权重在 step_0050000.pt。
两个头都从同一个生成器检查点 generator.pt 初始化、训练到相同步数(step 50000),区别只在这 80 层 vs 10 层的解码 Transformer。因此切换解码头不需要动语言模型和编码器,是纯粹的"渲染引擎换挡"。
一张表看懂 full_mr 与 keep2_plain 的区别
| 对比项 | full_mr(默认) | keep2_plain(剪枝版) |
|---|---|---|
| 定位 | 最高保真 | 速度优先,解码提速约 3 倍 |
| 各阶段 Transformer 层数 | 32 / 12 / 12 / 12 / 12(共 80 层) | 2 / 2 / 2 / 2 / 2(共 10 层) |
| 输出规格 | 44.1 kHz、15 帧/秒、因果流式 | 完全相同 |
| GGUF 解码器 | zac.gguf | zac-keep2.gguf |
| 运行时注册表 | codec_registry.json | codec_registry_keep2_plain.json |
| 浏览器 WebGPU 分片 | web/zac-full_mr/ | web/zac/ |
| 训练配置 | full_mr 配置 | keep2_plain 配置 |
官方评测(H100):8 路并发时首帧音频中位数延迟仅 80 ms,峰值吞吐 457 秒音频/秒。
选择指南:什么场景用什么解码头?
✅ 选 full_mr 的情况
- 离线批量生成有声书、配音、播客等正式交付物,音质第一;
- 服务器 GPU 显存充足,追求最佳听感;
- 通过 SGLang 部署
/v1/audio/speech接口,对单路解码耗时不敏感。
⚡ 选 keep2_plain 的情况
- 浏览器 WebGPU 直跑:浏览器版默认分片就是 keep2_plain(web/zac/),full_mr 作为可选分片放在 web/zac-full_mr/;
- CPU、老硬件或移动端,跑实时语音助手、游戏语音;
- 高并发服务器:解码提速直接摊薄每路请求的算力成本。
一句话总结:质量优先选 full_mr,速度优先选 keep2_plain;两者共享同一套 codec 与语言模型,随时可以切换对比。
两种头的文件都在哪里?
仓库里两套头各自成体系,运行时通过 codec 注册表选择加载哪个解码器检查点:
- 训练配置与检查点:autoencoder/heads/full_mr/、autoencoder/heads/keep2_plain/
- GGUF 解码器:zac.gguf(full_mr)、zac-keep2.gguf,另有编码器 zac-encoder.gguf
- 运行时注册表:codec_registry.json 与 codec_registry_keep2_plain.json
- 语言模型参数:params.json(codec 固定为
opus_dual_3n_600k_sched600k_r4096_step600000,与解码头选择无关)
写在最后
full_mr 与 keep2_plain 不是两个模型,而是同一套 ZONOS3-Mini 的两个渲染引擎。建议先用 keep2_plain 把链路快速跑通,再在关键场景切回 full_mr 听音对比,这是最低成本的上手路径。


