parakeet-tdt-1.1b文件结构与config.json逐项详解:读懂1024词表BPE分词器
parakeet-tdt-1.1b文件结构与config.json逐项详解:读懂1024词表BPE分词器
parakeet-tdt-1.1b 是社区用 MLX 格式转换的 语音识别(ASR)模型,源自 NVIDIA 的 Parakeet 系列。它能把一段 16 kHz 的英文语音转成文字,核心是 FastConformer 编码器 + RNNT/TDT 解码器,并搭配一套 1024 词表的 BPE 分词器。想真正"读懂"这个仓库,关键就是拆开看 config.json 的每个字段,以及三个词表文件之间的关系。本文将带你逐项速读,不用写代码也能看懂。
仓库里到底有哪些文件?📦
这是一个"纯模型仓库":没有源码,只有配置文件 + 权重 + 词表。下载后你会看到 6 个核心文件:
| 文件 | 仓库内大小 | 下载后实际大小 | 作用 |
|---|---|---|---|
| model.safetensors | ~135 B(LFS 指针) | ≈ 4.28 GB | MLX 格式模型权重(主体) |
| tokenizer.model | ~131 B(LFS 指针) | ≈ 253 KB | BPE 分词器模型 |
| tokenizer.vocab | ≈ 11 KB | 1024 行 | SentencePiece 风格词表(token<TAB>分数) |
| vocab.txt | ≈ 5.2 KB | 1023 行 | HuggingFace 风格词表(## 前缀) |
| config.json | ≈ 37 KB | 2277 行 | 全部超参数 + 内嵌 1024 词表 |
| README.md | < 1 KB | — | 模型卡与用法说明 |
💡
model.safetensors和tokenizer.model在仓库里只是几十字节的 Git LFS 指针,真正几 GB 的权重在拉取时才会下载,所以克隆速度很快、占用小。
config.json 的整体骨架
config.json 遵循 NeMo 的配置风格,顶层字段按"数据 → 前处理 → 编码器 → 解码器 → 联合层 → 训练"组织。先记这几块:
- 音频前处理:preprocessor、spec_augment
- 网络主体:encoder、decoder、joint
- 推理与训练:decoding、loss、optim
- 词表入口:tokenizer 以及内嵌的
labels/vocabulary
下面挑最影响"听懂"的部分逐项讲。
音频预处理:16 kHz → 80 维 Mel 频谱 🎧
preprocessor 把原始波形变成网络能吃的特征:
sample_rate: 16000—— 统一按 16000 Hz 采样;features: 80+n_fft: 512—— 输出 80 维 Mel 频谱;window_size: 0.025/window_stride: 0.01—— 25 ms 窗长、10 ms 步长(经典设置,约每秒 100 帧);window: hann—— 用汉宁窗做分帧。
spec_augment(L99-L105)是训练时的频谱掩码增强(freq_masks: 2、time_masks: 10),只用于训练正则化,推理阶段可忽略。
编码器:42 层 FastConformer(1024 维)🧠
encoder 采用 ConformerEncoder,是这个 1.1B 模型最"重"的部分:
| 参数 | 取值 | 含义 |
|---|---|---|
n_layers |
42 | 编码器层数 |
d_model |
1024 | 隐藏维度(也等于标题里的 1024 之一) |
n_heads |
8 | 多头注意力头数 |
subsampling_factor |
8 | 时间轴降采样 8 倍 |
conv_kernel_size |
9 | 卷积核大小(Conformer 的卷积模块) |
ff_expansion_factor |
4 | 前馈网络扩到 4 倍宽 |
简单说:每秒 100 帧 → 降采样后约 12.5 帧/秒,每帧用 1024 维向量表示,再由 42 层结构逐层提纯语义。
解码器与联合层:1024 词表在这里"落地" 🎯
RNNT 把语音转文字分三步:编码器出特征 → decoder(L141-L153)预测"下一个 token" → joint(L154-L168)联合出最终概率。
两个关键数字都指向 1024:
也就是说,模型在每一步都从 1024 个候选词元里选一个。完整词表就内嵌在 joint.vocabulary 与 labels 两个数组中(各 1024 项,<unk> 排在 0 号位)——这也是 config.json 只有 37 KB 的原因。
解码与损失:TDT 的"时长"机制 ⏱️
decoding 默认 strategy: greedy(贪心解码),model_type: tdt。所谓 TDT 是一种带"时长预测"的 RNNT 变体:
durations: <a href="https://link.gitcode.com/i/bf8f2e823d0b01c991c44d3ca9212c90" target="_blank">0,1,2,3,4]([L1199-L1205)——每个 token 可能占用 0~4 个时间步;- loss 的
loss_name: tdt、sigma: 0.02、omega: 0.1训练该时长分布。
optim(L1233-L1248)用的是 AdamW:lr: 3.0、weight_decay: 0.001,学习率按 NoamAnnealing 在 warmup_steps: 25000 内预热。这些训练参数对使用者意义不大,但能帮你判断模型规模。
读懂 1024 词表 BPE 分词器 🔤
同一套 1024 词元 被写成了三份,各司其职:
| 文件 | 格式 | 行数 | 词首标记 | 特点 |
|---|---|---|---|---|
config.json 的 vocabulary |
内嵌数组 | 1024 | ▁(U+2581) |
与网络 num_classes 完全对齐 |
| tokenizer.vocab | token<TAB>分数 |
1024 | ▁ |
SentencePiece 风格,分数为负(频率) |
| vocab.txt | 每行一个词元 | 1023 | ## |
HuggingFace 风格,## 表示"词中片段" |
两个标记的含义(重点):
▁(一个带下划线的"空格"符号,U+2581)= 词首,表示这个片段前面是空格或句首。例如▁the代表单词 the,而re(无▁)是接在词中的片段。##是 vocab.txt 里对"同一片段"的另一种写法,表示非词首的延续片段,如##ing。
这 1024 个词元长什么样? 它是一套面向英文的 BPE(Byte Pair Encoding) 词表,由整词、子词和单字母混合构成:
- 约 619 个"词首"片段(带
▁),如▁the、▁you、▁because; - 约 404 个"词中"片段(不带
▁),如ing、tion、ly; - 末尾 20 个是单字母兜底(
e t a o i n s r h l d u c m y w g f p b v k ' j x q z),保证任何拼写都能被切分。
举个直观例子:单词 understand 会被切成 ▁under + stand 之类的片段序列,最终拼回原文。词表越贴合语料,切分越紧凑,1024 的规模就是"覆盖率 vs. 模型大小"的折中。
📌 三者一一对应:
config.json里的▁词表 ↔tokenizer.vocab(带分数)↔vocab.txt(##写法)。改词表时要以config.json的 1024 项为准。
如何拿到并跑起来(轻量)🚀
仓库是只读模型,一般直接用模型名加载即可,无需手动 clone。两条常见路径:
# 方式一:parakeet-mlx
pip install -U parakeet-mlx
parakeet-mlx audio.wav --model mlx-community/parakeet-tdt-1.1b
# 方式二:mlx-audio
pip install -U mlx-audio
python -m mlx_audio.stt.generate --model mlx-community/parakeet-tdt-1.1b --audio audio.wav --output somewhere
更多细节见 README.md。
小结
- 仓库 = 配置 + 权重 + 词表:真正的"大脑"是 ~4.28 GB 的 model.safetensors,config.json 则完整描述了 16 kHz / 80-Mel / 42 层 Conformer / 1024 词表的 RNNT 架构。
- 1024 这个数字贯穿始终:既是
d_model,也是 BPE 词表大小、vocab_size和num_classes。 - 同一词表三种写法:
▁(config/SentencePiece)与##(vocab.txt)只是同一套 BPE 片段的两种记号,读懂▁/##你就读懂了分词器。
掌握 config.json 的骨架和词表关系后,你基本就能判断这个 ASR 模型的规模、输入要求与推理行为,也便于做二次改造或对比实验。