3824万参数如何跑出13.8倍实时?Underdog Woof模型架构深度拆解
3824万参数如何跑出13.8倍实时?Underdog Woof模型架构深度拆解
Underdog Woof 是一个仅 40.6 MB 的本地 TTS 语音合成模型:3824 万参数、单 CPU 线程即可在笔记本上跑出 13.8 倍实时,无需 GPU、服务器或 API Key,仅依赖 numpy。本文完整拆解它的模型架构、int8 量化策略与文本前端,并给出最快上手步骤。
先看成绩单:比 41.5 GB 的大模型小 1000 倍,读得还更准 📊
在 Gradium TTS Hard Cases(500 句英文难句)基准上,所有模型用同一方式评测:
| 模型 | 下载体积 | 词错误率 (WER) | 运行方式 |
|---|---|---|---|
| Underdog Woof(双音色,Mira) | 40.6 MB | 1.42% | 你的 CPU |
| Fish Audio Drama 3 | 41.5 GB | 1.89% | 云端 API |
| Phonon 31m | 55.1 MB | 2.16% | 端侧 |
| Kitten Nano 0.8 | 27.6 MB | 9.81% | 端侧 |
| Kokoro 82M | 327 MB | 5.17% | 端侧 |
🎯 几个关键数字:
- 比 Fish Audio Drama 3 小 1022 倍,词错误率还低 25%
- 单条 Apple M5 Max CPU 线程:Juno 音色 13.8 倍实时,峰值内存仅 402 MB
- 整个模型就是一个 40.6 MB 的 woof_int8.npz 文件,两个音色的权重都存在里面
38.24M 参数都花在哪了:语音模型 + 音频解码器
| 模块 | 参数量 | 职责 |
|---|---|---|
| Speech 语音模型 | 22.95M | 文本 → 音频潜变量(latent) |
| Audio decoder 音频解码器 | 15.3M | 潜变量 → 24 kHz 波形 |
| 合计 | 38.24M |
解码器改编自 Kyutai 的 Mimi 神经音频编解码器(见 NOTICE),推理引擎是纯 numpy 实现的 runtime.py——没有 PyTorch,只有 numpy 加标准库。
模块一:语音模型——逐帧自回归的"一步流"生成器
核心逻辑在 runtime.py 的 Speech 类,流程可以拆成 4 步:
- 字符级编码:文本直接按字符切成 token(约 80 个字符的小词表),拼上音色嵌入和句首标记,没有分词器、没有音素表
- Transformer 主干:L 层块,每层是 RoPE 旋转位置编码的多头注意力 + SwiGLU 前馈网络,K/V 缓存用预分配的"页"数组管理,增量解码很高效
- 一步流 head(one-step flow head):这是省算力的关键——每帧只抽一次高斯噪声,过一个 AdaLN 调制的小 MLP,直接输出这一帧的潜向量,而不是像扩散模型那样迭代多步
- 自回归喂回:潜向量投影回 Transformer 参与下一帧计算;每帧同时输出一个"结束概率",超过阈值(0.9)就停
潜变量速率约 12.5 个/秒,单句上限 750 帧(60 秒),配合 temp=0.5 的温度采样。确定性由 TorchRandn(runtime.py)保证——它用纯 numpy 精确复刻了 torch 的 MT19937 随机数,所以传同一个 seed 就能复现同一句音频。
模块二:音频解码器——Mimi 改造的 Transformer + SEANet 上采样栈
解码器(runtime.py)把每 1920 个采样点(80 ms)对应的一段潜变量还原成 24 kHz 波形:
- 先过带窗口注意力的 Transformer 整理潜变量
- 再进 SEANet 卷积上采样链(conv / 转置卷积 / 残差块 + ELU)逐级升频
- int8 模式的分层策略很讲究:整句级阶段(Transformer 与 SEANet 升到 1200 Hz 之前的部分)保留 int8 权重、每句只反量化一次;高频小阶段直接留在 fp32,省内存又不牺牲音质
- 上采样按
chunk=8分块计算,进一步压低峰值内存
13.8 倍实时的性能来源 💡
速度不是靠堆硬件,而是四个设计共同作用:
| 优化点 | 做法 |
|---|---|
| 极致压缩 | 语音模型线性层用 int8 + 逐行缩放因子存储,解码器用分组 int8,40.6 MB 装下全部权重 |
| 少迭代 | 一步流 head 替代多步扩散,每帧只做一次 MLP 前向 |
| 纯 numpy 内核 | 单线程矩阵乘法 + 预分配 KV 缓存,无框架开销 |
| 懒加载 | int8 权重按句反量化,高频阶段常驻 fp32 |
实测对比(同一份 README 中的官方数据):
| 单音色版 | 双音色版(本仓库) | |
|---|---|---|
| 下载体积 | 31.7 MB | 40.6 MB |
| 峰值内存(单线程) | 852 MB | 402 MB(Juno) |
| WER | 2.06% | 1.42%(Mira) |
| 单线程速度 | 18x 实时 | 13.8x 实时(Juno)/ 7.2x(Mira) |
文本前端:让电话号和日期读得"像人说话" 🎧
小模型读错号码、日期的概率更高,所以 Woof 在输入端做了一套规则式文本归一化:
- normalize.py:先把日期、时间、货币、电话、邮编、罗马数字、化学式、代码标识符等改写成"人怎么读"的形式(如
415-555-0199→four one five, five five five, zero one nine nine),剩余数字再交给可选的 NeMo 或内置 fallback - respell.tsv:难读专名改拼词表(Siobhan → Shivawn、gnocchi → nyocky),纯字典查询,零模型调用
- textsplit.py:长文本先按句切分,超过 120 字符的句子再按逗号、分号、破折号切分,没有标点时沿连词就近对半切
- 质量门检查:每段生成后自动校验,若音频明显过长或中间出现 1 秒以上静音,最多重画 3 次并保留最好的一次(init.py)
三分钟跑起来:本地安装与运行步骤
pip install numpy
hf download ConwayResearch/Underdog-Woof --local-dir underdog-woof
# 或者: git clone https://gitcode.com/hf_mirrors/ConwayResearch/Underdog-Woof
cd underdog-woof
python -m underdog_woof "Your order ships on March 3rd. Call 415-555-0199 with questions." -o hello.wav
命令行由 main.py 提供,支持 --voice mira 切换音色、--seed 固定随机种子、--temp 调节变化度,运行结束还会打印实测的"倍实时"速度。
Python 里三行就能用:
from underdog_woof import Woof
tts = Woof(voice="mira") # "juno"(默认)或 "mira"
tts.save("hello.wav", tts("How can I help you today?", seed=0))
输出是 24 kHz 单声道 float32 音频;仓库的 samples/ 目录下有 6 条示例音频(juno_1.wav、mira_1.wav 等),可直接试听效果。依赖只有 requirements.txt 里的 numpy>=1.24。
许可证与适用边界 ⚠️
Woof 采用 Underdog Non-Commercial License 1.0(LICENSE):
- ✅ 个人项目、研究、教学、非营利场景免费使用,可发布其生成的音频,但需在标题或说明中注明 "Underdog Woof" 或 "underdog.ai"
- 💰 商用(付费产品、广告、盈利视频、公司项目)需申请商业授权
- 🚫 禁止用 Woof 或其音频去训练、微调、蒸馏其他语音模型
一句话总结:Underdog Woof 用"字符级小词表 + 一步流 head + int8 量化 + 纯 numpy 内核"这套组合拳,把 3824 万参数的 TTS 模型压缩进 40.6 MB、402 MB 内存里,在单 CPU 线程上做到 13.8 倍实时、1.42% 词错误率——这是目前"更小且更准"的端侧英语语音合成标杆,适合做离线朗读、听读工具与嵌入式语音场景。