读懂parakeet-tdt-0.6b-v3的config.json:8192个BPE词表如何承载标点、时间戳与说话人分离
读懂parakeet-tdt-0.6b-v3的config.json:8192个BPE词表如何承载标点、时间戳与说话人分离
parakeet-tdt-0.6b-v3 是一款 0.6B 参数的多语言语音识别(ASR)模型,它的 config.json 与 8192 个 BPE 词表,正是决定"标点恢复、时间戳对齐、说话人分离"三大功能的总蓝图。这篇文章带你逐块读懂 config.json,并拆解 tokenizer.vocab 中的 8192 个 token——无需写一行代码,也能看懂这个模型"会说什么"。
1. 先认识 parakeet-tdt-0.6b-v3:一个会"带标点、带时间、分说话人"的语音识别模型
parakeet-tdt-0.6b-v3 基于 FastConformer + RNNT 架构,采用 TDT(Temporal Difference Tracking,时差跟踪) 技术,让模型在一次解码中同时输出:
- 📝 带标点的文本(不用额外标点恢复模型)
- ⏱️ 每句话的起止时间戳
- 🗣️ 说话人分离(谁在什么时候说话)
它是 NVIDIA 原版模型的 MLX 转换版,可在 Apple Silicon 上高效运行,README.md 中列出了 en、es、fr、de、ru 等 25 种语言支持。
仓库一共 5 个文件,各司其职:
| 文件 | 作用 |
|---|---|
| config.json | 模型架构、训练配置与 8192 词表定义 |
| model.safetensors | 模型权重 |
| tokenizer.model | BPE 分词器 |
| tokenizer.vocab | 8192 个 token(附词频) |
| vocab.txt | 7918 条 BPE 合并规则 |
2. config.json 全景:一条音频的"旅行路线"
config.json 共 1.6 万余行,但有效信息集中在 8 个区块。一条音频进来,会经历这样的旅程:
16kHz 音频 → 128 维梅尔频谱 → 24 层 Conformer 编码器 → RNNT 解码器 → 联合网络 → 8192 类逐帧打分 → 文本 + 时间戳 + 说话人
| 区块 | 位置 | 干什么 |
|---|---|---|
| 顶层参数 | config.json | 采样率 16000、RNNT 归约方式 |
| model_defaults | config.json | 各网络隐藏层维度、TDT 时长档 |
| preprocessor | config.json | 音频转 128 维梅尔频谱 |
| spec_augment | config.json | 训练时的频谱遮挡增强 |
| encoder | config.json | 24 层 Conformer 编码器 |
| decoder | config.json | RNNT 解码器,词表 8192 |
| joint | config.json | 联合网络 + 完整 vocabulary 列表 |
| vocabulary | config.json | 8192 个 token 的完整清单 |
几个值得注意的数字:
- 预处理器:25ms 汉宁窗、10ms 步长(L59-L61),输出 128 个梅尔频点(L62)
- 编码器:24 层、隐藏维 1024、8 头注意力(L81-L93),下采样因子 8,即 100 帧音频特征压缩到约 12.5 帧
- 解码器:
vocab_size直接写死为 8192(L121) - 联合网络:
num_classes: 8192(L137),并有 5 个额外输出头(L136)——这正是时间戳的玄机,后面细说
3. 8192 个 token 大拆解:不只是"拼字"那么简单
先看总账:
8192 = 274 个特殊符号 + 7918 个 BPE 文本 token
特殊符号集中在 tokenizer.vocab,其余全部是拼写文字用的 BPE token。下面按"功能"把它们分成 6 组。
3.1 控制开关 token:标点、时间戳、说话人分离的"总闸"
最开头的一组 <|...|> 标记(tokenizer.vocab)像电灯开关,告诉模型"这次要启用哪些功能":
| Token | 位置 | 作用 |
|---|---|---|
<|pnc|> / <|nopnc|> |
L6-L7 | 标点输出:开 / 关 |
<|itn|> / <|noitn|> |
L9-L10 | 逆向文本规整(如"三块五"→"3.5元") |
<|timestamp|> / <|notimestamp|> |
L11-L12 | 时间戳输出:开 / 关 |
<|diarize|> / <|nodiarize|> |
L13-L14 | 说话人分离:开 / 关 |
<|spkchange|> |
L15 | 标记"说话人切换" |
<|audioseparator|> |
L16 | 标记音频片段边界 |
同一个模型、同一套权重,靠读上下文里的控制 token 来决定输出形态——这是 parakeet 系列"一个模型多种能力"的设计精髓。
3.2 标点:每个符号都是"一等公民"
., ,, ?, !, : 各自占据独立词位:
- 句点
.→ tokenizer.vocab - 逗号
,→ tokenizer.vocab - 问号
?→ tokenizer.vocab - 感叹号
!→ tokenizer.vocab - 冒号
:→ tokenizer.vocab
词表文件的第二列是词频,., , 的词频高达几千(数值取绝对值),说明它们在训练语料中高频出现。正因为标点没有被 BPE 合并进单词,模型才能像预测字母一样独立预测标点,实现"边识别边加标点",无需外挂标点恢复模型。
3.3 时间戳:三类 token + 5 个时长输出协同工作
TDT 输出时间戳靠三样东西配合:
- 时间数字 token:
<|0|>~<|10|>(L208-L218),用于表达时刻的单个数位 - 占位 token:
<|spltoken0|>~<|spltoken29|>共 30 个(L245-L274),在序列中标记时间/分段位置 - TDT 时长档:config.json 中
tdt_durations为[0, 1, 2, 3, 4],正好对应联合网络num_extra_outputs: 5(L136)
原理一句话:模型为每个语音段额外预测一个"持续了 0~4 秒哪一档"的标签,把各段时长累加,就还原出每句话的绝对时间——这正是 "Temporal Difference Tracking(时差跟踪)" 的名字由来。
3.4 说话人分离:16 个编号"座位"
<|spk0|> ~ <|spk15|> 共 16 个说话人槽位(tokenizer.vocab),配合 <|spkchange|> 标记切换点。模型在序列中输出这些编号后,推理框架会将其解析成大家熟悉的 SPEAKER_00、SPEAKER_01 标签——16 个槽位意味着单段音频最多可区分 16 位说话人。
3.5 183 个语言码:多语言与语言识别的钥匙
<|aa|> ~ <|zu|> 覆盖 183 个 ISO 639-1 语言代码(tokenizer.vocab),与 <|predict_lang|> / <|nopredict_lang|>(L23-L24)搭配,支撑多语言识别与语言自动检测。
3.6 7918 个 BPE token:真正的"拼字词库"
从 tokenizer.vocab 开始,剩下 7918 个 token 才负责拼写单词,特点鲜明:
▁表示词首:如▁s、▁the、▁und;不带▁的(如er、in)是词中片段- 多语言并存:拉丁字母为主,同时收进西里尔字母(
▁п、ни)、希腊字母(να、τι)、各种变音符号(é、ä、ș),一个词库服务 25 种语言 - 合并规则另存:vocab.txt 保存 7918 条 BPE 条目,
##前缀同样表示非词首片段
4. 三大功能如何"合体"生效
把 8192 词表与网络配置拼起来,完整链路是:
音频 → 梅尔频谱(128 维)→ Conformer 编码器 → RNNT 解码器读取控制 token → 联合网络逐帧打出 8192 类主输出 + 5 个时长档输出 → 解析器把
<|spkchange|>、时长标签、时间数字翻译为人类可读结果
示意输出(实际格式以推理框架为准):
[00:00:01.5 - 00:00:04.2] SPEAKER_00: 大家好,我们开始吧。
[00:00:05.0 - 00:00:08.8] SPEAKER_01: 好的,先看第二项。
标点来自独立标点 token,时间来自 TDT 时长累加,说话人来自 spk 编号——三条信息流共享同一个 8192 维输出空间。
5. 常用参数速查表
| 参数 | 取值 | 含义 |
|---|---|---|
sample_rate |
16000 | 音频采样率,输入需 16kHz(config.json) |
features |
128 | 梅尔频谱频点数(config.json) |
window_size / window_stride |
0.025 / 0.01 | 25ms 窗长 / 10ms 步长(config.json) |
n_layers |
24 | Conformer 编码器层数(config.json) |
d_model |
1024 | 编码器隐藏维度(config.json) |
vocab_size |
8192 | 解码器词表大小(config.json) |
tdt_durations |
0, 1, 2, 3, 4] | TDT 的 5 个时长档([config.json) |
num_extra_outputs |
5 | 联合网络额外输出头数(config.json) |
6. 上手体验:一行命令跑起来
读懂配置后,最快体验方式是按 README.md 安装 parakeet-mlx:
pip install -U parakeet-mlx
parakeet-mlx audio.wav --model mlx-community/parakeet-tdt-0.6b-v3
7. 三个常见疑问
Q1:为什么词表是 8192 这个数? 8192 = 2^13,是 2 的幂,方便嵌入矩阵的显存与计算对齐;同时预留了 274 个特殊符号位,把标点、时间、说话人、语言码全部"装进"主词表,而非另开辅助词表。
Q2:三个词表文件各是什么?
tokenizer.model 是 BPE 分词器本体;tokenizer.vocab 列出全部 8192 个 token 及词频,供快速查表;vocab.txt 保存 7918 条合并规则,是训练分词器时的产物。三者内容互为镜像。
Q3:想只出不带标点/不带时间戳的文本呢?
在上下文中把 <|pnc|> 换成 <|nopnc|>、<|timestamp|> 换成 <|notimestamp|> 即可——这正是 3.1 节"控制开关" token 的用途。
总结
parakeet-tdt-0.6b-v3 的 config.json 看似冗长,核心就一句话:8192 维的输出空间里,274 个特殊符号承担"标点开关、时间戳、说话人、语言码"四大职能,7918 个 BPE token 负责多语言拼写。看懂了词表结构,就看懂了这款 0.6B 小模型为何能一次解码同时交出"带标点、带时间、分说话人"的转写结果。