ZONOS3-Mini 解码提速 3 倍:full_mr 与 keep2_plain 两种 iSTFT 头该如何选择

原创2026-11-12 12:22:15865 阅读
文章标签:人工智能语音本地部署深度学习

ZONOS3-Mini 解码提速 3 倍:full_mr 与 keep2_plain 两种 iSTFT 头该如何选择

ZONOS3-Mini 是 Zyphra 推出的紧凑型开源 TTS(语音合成)模型,约 1 亿活跃参数即可在手机、笔记本甚至浏览器里实时生成 43 种语言的自然语音,还支持声音克隆与逐词语气控制。真正部署时,绕不开一个选择:音频解码器 iSTFT 头到底用默认的 full_mr,还是剪枝版 keep2_plain?后者能让解码提速约 3 倍。本文带你 5 分钟看懂两者的结构差异、质量取舍和适用场景,并附完整的权重文件位置清单。

ZONOS3-Mini 推理链路:语言模型逐帧生成编解码 token,iSTFT 解码头实时渲染为音频

ZONOS3-Mini 推理流程:文本与说话人条件进入混合 GDN/注意力 MoE 主干,逐帧预测 10 路 codebook;每帧最后一个 codebook 生成完毕,iSTFT 头立刻把它渲染成音频。

先搞清楚:iSTFT 头在 TTS 链路里负责什么?

一句话:语言模型决定"说什么",iSTFT 头决定"听起来什么样"。

ZONOS3-Mini 的语言模型以 15 帧/秒的速率生成双码本 codec 帧(10 路 codebook、每路 4096 个码字),这些帧还只是"语音的离散描述",不是声音。把它们变成 44.1 kHz 真实波形的,是 ZAC 1(Zyphra Audio Codec 1)里的因果多分辨率 iSTFT 解码头:

  • 多分辨率:5 个阶段逐级上采样(15 → 30 → 60 → 120 → 240 帧/秒),高频细节在更细的时间分辨率上补齐;
  • 因果(causal):只依赖历史帧,帧一生成就能立刻出声,天然支持流式播放;
  • iSTFT:用逆短时傅里叶变换还原波形,配合 Vocos 风格的对数幅度 + 相位建模。

ZAC 1 音频编解码器架构:ZONOS3-Mini 的 TTS 解码器 iSTFT 头结构示意

ZAC 1 音频编解码器(Zyphra Audio Codec 1)架构。

full_mr:默认的高保真方案

full_mr 是开箱默认的解码头。它在 5 个分辨率阶段堆满了 Transformer 层:15 Hz 阶段 32 层,其余 4 个阶段各 12 层,合计 80 层,计算量更大,换来最完整的频谱细节和最高保真度,适合对音质敏感的正式交付场景。

对应的训练配置与权重:config_full_unfreezeall_mr.json、step_0050000.pt。

keep2_plain:解码提速 3 倍的剪枝方案

keep2_plain 的名字很直白——每个分辨率阶段只保留 2 层 Transformer(2 × 5 = 10 层),裁掉了解码侧绝大部分计算量,官方给出的效果是解码速度约为 3 倍,音质代价很小。它的训练配置名为 config_full_unfreezeall_mr_drop30_4x10.json("drop30" 即剪枝版本),权重在 step_0050000.pt。

两个头都从同一个生成器检查点 generator.pt 初始化、训练到相同步数(step 50000),区别只在这 80 层 vs 10 层的解码 Transformer。因此切换解码头不需要动语言模型和编码器,是纯粹的"渲染引擎换挡"。

一张表看懂 full_mr 与 keep2_plain 的区别

对比项 full_mr(默认) keep2_plain(剪枝版)
定位 最高保真 速度优先,解码提速约 3 倍
各阶段 Transformer 层数 32 / 12 / 12 / 12 / 12(共 80 层) 2 / 2 / 2 / 2 / 2(共 10 层)
输出规格 44.1 kHz、15 帧/秒、因果流式 完全相同
GGUF 解码器 zac.gguf zac-keep2.gguf
运行时注册表 codec_registry.json codec_registry_keep2_plain.json
浏览器 WebGPU 分片 web/zac-full_mr/ web/zac/
训练配置 full_mr 配置 keep2_plain 配置

ZONOS3-Mini 质量-速度评测:首帧音频延迟与峰值吞吐量的 Pareto 曲线

官方评测(H100):8 路并发时首帧音频中位数延迟仅 80 ms,峰值吞吐 457 秒音频/秒。

选择指南:什么场景用什么解码头?

✅ 选 full_mr 的情况

  • 离线批量生成有声书、配音、播客等正式交付物,音质第一;
  • 服务器 GPU 显存充足,追求最佳听感;
  • 通过 SGLang 部署 /v1/audio/speech 接口,对单路解码耗时不敏感。

⚡ 选 keep2_plain 的情况

  • 浏览器 WebGPU 直跑:浏览器版默认分片就是 keep2_plain(web/zac/),full_mr 作为可选分片放在 web/zac-full_mr/;
  • CPU、老硬件或移动端,跑实时语音助手、游戏语音;
  • 高并发服务器:解码提速直接摊薄每路请求的算力成本。

一句话总结:质量优先选 full_mr,速度优先选 keep2_plain;两者共享同一套 codec 与语言模型,随时可以切换对比。

两种头的文件都在哪里?

仓库里两套头各自成体系,运行时通过 codec 注册表选择加载哪个解码器检查点:

写在最后

full_mr 与 keep2_plain 不是两个模型,而是同一套 ZONOS3-Mini 的两个渲染引擎。建议先用 keep2_plain 把链路快速跑通,再在关键场景切回 full_mr 听音对比,这是最低成本的上手路径。

登录后查看全文
ZONOS3-Mini