3824万参数如何跑出13.8倍实时?Underdog Woof模型架构深度拆解

原创2026-11-11 16:47:252,306 阅读
文章标签:人工智能语音本地部署模型量化

3824万参数如何跑出13.8倍实时?Underdog Woof模型架构深度拆解

Underdog Woof 是一个仅 40.6 MB 的本地 TTS 语音合成模型:3824 万参数、单 CPU 线程即可在笔记本上跑出 13.8 倍实时,无需 GPU、服务器或 API Key,仅依赖 numpy。本文完整拆解它的模型架构、int8 量化策略与文本前端,并给出最快上手步骤。

先看成绩单:比 41.5 GB 的大模型小 1000 倍,读得还更准 📊

在 Gradium TTS Hard Cases(500 句英文难句)基准上,所有模型用同一方式评测:

模型 下载体积 词错误率 (WER) 运行方式
Underdog Woof(双音色,Mira) 40.6 MB 1.42% 你的 CPU
Fish Audio Drama 3 41.5 GB 1.89% 云端 API
Phonon 31m 55.1 MB 2.16% 端侧
Kitten Nano 0.8 27.6 MB 9.81% 端侧
Kokoro 82M 327 MB 5.17% 端侧

🎯 几个关键数字:

  • 比 Fish Audio Drama 3 小 1022 倍,词错误率还低 25%
  • 单条 Apple M5 Max CPU 线程:Juno 音色 13.8 倍实时,峰值内存仅 402 MB
  • 整个模型就是一个 40.6 MB 的 woof_int8.npz 文件,两个音色的权重都存在里面

38.24M 参数都花在哪了:语音模型 + 音频解码器

模块 参数量 职责
Speech 语音模型 22.95M 文本 → 音频潜变量(latent)
Audio decoder 音频解码器 15.3M 潜变量 → 24 kHz 波形
合计 38.24M

解码器改编自 Kyutai 的 Mimi 神经音频编解码器(见 NOTICE),推理引擎是纯 numpy 实现的 runtime.py——没有 PyTorch,只有 numpy 加标准库。

模块一:语音模型——逐帧自回归的"一步流"生成器

核心逻辑在 runtime.py 的 Speech 类,流程可以拆成 4 步:

  1. 字符级编码:文本直接按字符切成 token(约 80 个字符的小词表),拼上音色嵌入和句首标记,没有分词器、没有音素表
  2. Transformer 主干:L 层块,每层是 RoPE 旋转位置编码的多头注意力 + SwiGLU 前馈网络,K/V 缓存用预分配的"页"数组管理,增量解码很高效
  3. 一步流 head(one-step flow head):这是省算力的关键——每帧只抽一次高斯噪声,过一个 AdaLN 调制的小 MLP,直接输出这一帧的潜向量,而不是像扩散模型那样迭代多步
  4. 自回归喂回:潜向量投影回 Transformer 参与下一帧计算;每帧同时输出一个"结束概率",超过阈值(0.9)就停

潜变量速率约 12.5 个/秒,单句上限 750 帧(60 秒),配合 temp=0.5 的温度采样。确定性由 TorchRandn(runtime.py)保证——它用纯 numpy 精确复刻了 torch 的 MT19937 随机数,所以传同一个 seed 就能复现同一句音频。

模块二:音频解码器——Mimi 改造的 Transformer + SEANet 上采样栈

解码器(runtime.py)把每 1920 个采样点(80 ms)对应的一段潜变量还原成 24 kHz 波形:

  • 先过带窗口注意力的 Transformer 整理潜变量
  • 再进 SEANet 卷积上采样链(conv / 转置卷积 / 残差块 + ELU)逐级升频
  • int8 模式的分层策略很讲究:整句级阶段(Transformer 与 SEANet 升到 1200 Hz 之前的部分)保留 int8 权重、每句只反量化一次;高频小阶段直接留在 fp32,省内存又不牺牲音质
  • 上采样按 chunk=8 分块计算,进一步压低峰值内存

13.8 倍实时的性能来源 💡

速度不是靠堆硬件,而是四个设计共同作用:

优化点 做法
极致压缩 语音模型线性层用 int8 + 逐行缩放因子存储,解码器用分组 int8,40.6 MB 装下全部权重
少迭代 一步流 head 替代多步扩散,每帧只做一次 MLP 前向
纯 numpy 内核 单线程矩阵乘法 + 预分配 KV 缓存,无框架开销
懒加载 int8 权重按句反量化,高频阶段常驻 fp32

实测对比(同一份 README 中的官方数据):

单音色版 双音色版(本仓库)
下载体积 31.7 MB 40.6 MB
峰值内存(单线程) 852 MB 402 MB(Juno)
WER 2.06% 1.42%(Mira)
单线程速度 18x 实时 13.8x 实时(Juno)/ 7.2x(Mira)

文本前端:让电话号和日期读得"像人说话" 🎧

小模型读错号码、日期的概率更高,所以 Woof 在输入端做了一套规则式文本归一化:

  • normalize.py:先把日期、时间、货币、电话、邮编、罗马数字、化学式、代码标识符等改写成"人怎么读"的形式(如 415-555-0199 → four one five, five five five, zero one nine nine),剩余数字再交给可选的 NeMo 或内置 fallback
  • respell.tsv:难读专名改拼词表(Siobhan → Shivawn、gnocchi → nyocky),纯字典查询,零模型调用
  • textsplit.py:长文本先按句切分,超过 120 字符的句子再按逗号、分号、破折号切分,没有标点时沿连词就近对半切
  • 质量门检查:每段生成后自动校验,若音频明显过长或中间出现 1 秒以上静音,最多重画 3 次并保留最好的一次(init.py)

三分钟跑起来:本地安装与运行步骤

pip install numpy
hf download ConwayResearch/Underdog-Woof --local-dir underdog-woof
# 或者: git clone https://gitcode.com/hf_mirrors/ConwayResearch/Underdog-Woof
cd underdog-woof
python -m underdog_woof "Your order ships on March 3rd. Call 415-555-0199 with questions." -o hello.wav

命令行由 main.py 提供,支持 --voice mira 切换音色、--seed 固定随机种子、--temp 调节变化度,运行结束还会打印实测的"倍实时"速度。

Python 里三行就能用:

from underdog_woof import Woof

tts = Woof(voice="mira")          # "juno"(默认)或 "mira"
tts.save("hello.wav", tts("How can I help you today?", seed=0))

输出是 24 kHz 单声道 float32 音频;仓库的 samples/ 目录下有 6 条示例音频(juno_1.wav、mira_1.wav 等),可直接试听效果。依赖只有 requirements.txt 里的 numpy>=1.24。

许可证与适用边界 ⚠️

Woof 采用 Underdog Non-Commercial License 1.0(LICENSE):

  • ✅ 个人项目、研究、教学、非营利场景免费使用,可发布其生成的音频,但需在标题或说明中注明 "Underdog Woof" 或 "underdog.ai"
  • 💰 商用(付费产品、广告、盈利视频、公司项目)需申请商业授权
  • 🚫 禁止用 Woof 或其音频去训练、微调、蒸馏其他语音模型

一句话总结:Underdog Woof 用"字符级小词表 + 一步流 head + int8 量化 + 纯 numpy 内核"这套组合拳,把 3824 万参数的 TTS 模型压缩进 40.6 MB、402 MB 内存里,在单 CPU 线程上做到 13.8 倍实时、1.42% 词错误率——这是目前"更小且更准"的端侧英语语音合成标杆,适合做离线朗读、听读工具与嵌入式语音场景。

登录后查看全文
Underdog-Woof