1024个BPE词表揭秘:parakeet-ctc-0.6b-Vietnamese 的SentencePiece分词如何读懂越南语
1024个BPE词表揭秘:parakeet-ctc-0.6b-Vietnamese 的SentencePiece分词如何读懂越南语
parakeet-ctc-0.6b-Vietnamese 是一款基于 MLX 格式的越南语语音识别(ASR)模型,由 NVIDIA Parakeet 0.6B 版转换而来。它只用 1024 个 BPE 词表条目,就能把越南语语音逐字转写成文本。今天这篇文章带你一步步看懂它背后的 SentencePiece 分词机制,以及仓库里 5 个文件各自扮演什么角色 🔍
📦 先认识一下这个模型
一句话概括:输入一段 16kHz 的越南语音频,输出一串越南语文本。
从 config.json 可以看到它的关键设计:
- 编码器:24 层 Conformer(
d_model: 1024,8 个头自注意力),配合 80 维梅尔频谱特征 - 解码器:ConvASRDecoder,
num_classes: 1024—— 每个时间步直接在这 1024 个 BPE token 上做分类(CTC) - 训练数据:VSP2020、VietMed、Fleurs 等 10 个越南语语音语料集
- 推理策略:贪心解码,按
. ! ?切分句子
这个 num_classes: 1024 就是全文的核心线索——模型不认识"字",它认识的正是这 1024 个分词单元。
🗂️ 仓库结构一览:5 个文件各司其职
| 文件 | 规模 | 作用 |
|---|---|---|
| model.safetensors | 约 2.4 GB(LFS 大文件) | 模型权重本体 |
| tokenizer.model | 约 247 KB | SentencePiece 二进制分词器(运行时真正使用) |
| tokenizer.vocab | 1024 行 | 带 ▁ 前缀标记的文本词表 |
| vocab.txt | 1023 行 | HuggingFace 风格的 ## 子词词表 |
| config.json | 32 KB | 完整的训练 + 解码配置(含 1024 项词表) |
| README.md | — | 使用说明 |
其中 config.json 的 decoder.vocabulary 字段里,完整词表被原样内嵌了 1024 条,方便不加载分词器也能查看。
🔍 BPE 分词入门:越南语是怎么被"切碎"的
▁ 符号是什么?
越南语词与词之间靠空格分隔,SentencePiece 用一个特殊符号 ▁ 标记"词首"。判断规则很简单:
▁t= 一个位于单词开头的tt(不带▁)= 一个紧跟在前一个子词后面的t
举个例子,词 người(人)在词表里没有整词,会被拆成:
người → ▁ng + ười
▁ng 在词表中排第 18 位,ười 排第 47 位,两段拼回原词——这就是 BPE 的精髓:高频组合整词成 token,长词拆成已知子词。
词表的三层结构
把 tokenizer.vocab 从头读到尾,会发现 1024 个条目呈现清晰的"金字塔":
第一层:高频整词(词表头部)
▁là、▁và、▁không(不)、▁được(可以)、▁tôi(我)、▁như(像)、▁nói(说)……越南语里最核心的虚词、代词被整体保留,一个 token 输出整个词,速度最快、错误率最低。
第二层:高频音组(词表中段)
ng、nh、qu、ch、tr、ời、ên、ược……这些是越南语中反复出现的辅音组合与韵母片段,承担"拼装"大量长词的任务。
第三层:单字符兜底(词表尾部,约 150 个)
n、h、t、i、c、g、a、m、đ、u、à……直到 Ế、Ỳ(第 1022 位)。越南语字符集非常大(33 个辅音字母 + 40 多个带声调元音,如 ă â ê ô ơ ư),这一层保证了任何拼写都能被逐字符覆盖,永远不会遇到"不认识的字"。
💡 三层结构 = 高频词直达 + 中频组合拼装 + 单字符保底,1024 个 token 就能覆盖整个越南语书写系统。
📄 三份词表文件的关系
tokenizer.vocab、vocab.txt 和 config.json 里的词表其实是同一套 1024 条词的三种"方言":
| 文件 | 格式特点 | 行数 |
|---|---|---|
| tokenizer.vocab | SentencePiece 原样格式,▁ 标记词首,如 ▁t、ng |
1024(含 <unk>) |
| vocab.txt | HF 风格,## 标记非词首子词(ng → ##ng),去掉了 <unk> |
1023 |
| config.json | JSON 数组,与 tokenizer.vocab 一一对应 |
1024 |
真正干活的是 tokenizer.model(约 247 KB 的二进制分词器),两份文本词表是它的"人可读版本",方便你像查字典一样翻查每个 token 的编号。
⚡ 快速上手:一句话跑出越南语音转写
按 README.md 的说明,装好工具后一条命令即可使用:
pip install -U parakeet-mlx
parakeet-mlx audio.wav --model mlx-community/parakeet-ctc-0.6b-Vietnamese
模型会自动加载 MLX 权重、调用 SentencePiece 分词器,把音频转写为越南语文本。整个推理链路就是:梅尔频谱 → 24 层 Conformer → 1024 类 CTC 输出 → 去空白 → BPE token 拼回文字。
🧠 小结
- parakeet-ctc-0.6b-Vietnamese 用 1024 个 BPE token 构建了完整的越南语识别词表
- 词表呈三层金字塔:整词加速、音组拼装、单字符兜底,
▁标记词首是读懂词表的关键 - 运行时由 tokenizer.model 分词,model.safetensors 负责声学建模,config.json 记录全部细节
- 想深入配置,直接翻开 config.json 的
decoder与preprocessor段落即可
理解了这套 BPE 词表设计,你就能明白为什么一个 0.6B 的小模型也能流畅读懂越南语了 🎧