parakeet-ctc-110m-coreml架构全景图:5大CoreML组件与混合ASR模型深度拆解
parakeet-ctc-110m-coreml架构全景图:5大CoreML组件与混合ASR模型深度拆解
parakeet-ctc-110m-coreml 是一个专为 Apple Silicon(M1/M2/M3/M4)优化的语音识别项目:它把 NVIDIA 的 Parakeet-TDT-CTC-110M 混合 ASR(自动语音识别)模型完整转换成了 CoreML 格式,由 5 大 CoreML 组件串联而成,在 M4 Pro 上可实现 358 倍实时推理速度。本文带你用一张数据流地图,拆解每个组件的输入输出与作用。
这是什么项目?
一句话概括:NVIDIA 的 Parakeet-TDT-CTC-110M 语音识别模型 → CoreML 格式的 Apple 平台推理版本。
该模型是"混合 ASR 模型",即一个共享的 Conformer 编码器 + 两个解码头:
| 解码头 | 特点 | 适用场景 |
|---|---|---|
| CTC Head | 快速贪心解码,速度最快 | 关键词检测(Keyword Spotting) |
| TDT Head | Token-Duration Transducer,精度更高 | 完整转录 |
项目运行要求:macOS 13+、Apple Silicon、Python 3.10+(详见 README.md)。
📊 架构全景:一条音频的数据流地图
整条推理链路就像一条流水线,数据依次流过 5 个 CoreML 组件:
原始音频 ──▶ ① MelSpectrogram ──▶ ② AudioEncoder ──┬──▶ ③ CtcHead ──▶ CTC 结果
(16kHz, 15秒) (梅尔谱) (Conformer编码) │
(240000样本) (1501×80) (512×188特征) └──▶ ④ Decoder + ⑤ JointDecision ──▶ TDT 转录结果
| 阶段 | 组件 | 输入形状 | 输出形状 |
|---|---|---|---|
| 预处理 | MelSpectrogram | audio: [240000](15秒音频) |
melspectrogram_features: [1,1,1501,80] |
| 编码 | AudioEncoder | [1,1,1501,80] |
encoder_output_embeds: [1,512,1,188] 等 4 路输出 |
| CTC 解码 | CtcHead | [1,512,188] |
ctc_logits: [1,188,1025] |
| TDT 解码 | Decoder + JointDecision | 编码器特征 + 上一步预测 | 逐 token 转录 |
188 是时间步数,1024 是词表大小(vocab.json),1025 = 1024 + 1 个 blank 空白符(见 ctc_head_metadata.json)。
🧩 5大CoreML组件逐一拆解
1️⃣ MelSpectrogram:音频"翻译官"(预处理)
负责把原始音频转成模型能看懂的梅尔频谱图,仅约 1MB,几乎不占内存。
- 输入:15 秒 16kHz 音频,共 240000 个采样点
- 输出:
1501 × 80的梅尔频谱(1501 帧 × 80 个频率维) - 模型内部仅含 conv、matmul、log 等少量算子,可在 Apple 神经引擎上高效运行
规格详见 MelSpectrogram.mlmodelc/metadata.json。
2️⃣ AudioEncoder:Conformer 编码器(核心大脑)
最大的组件(约 400MB),也是"共享编码器"——CTC 和 TDT 两个头都复用它的输出。
- 输入:梅尔谱
[1,1,1501,80] - 输出共 4 路,一次性把下游需要的特征全部算好:
encoder_output_embeds(512维,供 CTC Head 使用)joint_projected_encoder_output_embeds(640维,供 TDT 联合网络使用)ctc_head_raw_output/ctc_head_output(1025维,内置 CTC 投影,方便快速路径)
- 算子统计可见 85 个 LayerNorm、51 个 SiLU、18 个 Softmax——典型的 Transformer/Conformer 结构(AudioEncoder.mlmodelc/metadata.json)
- 权重采用 6-bit 调色板量化(Palettized 6-bit)+ 稀疏化存储,在保证精度的同时显著压缩体积
3️⃣ CtcHead:CTC 输出投影(快速通道)
轻量级组件(约 4MB),只做一层卷积投影 + 归一化:
- 输入:编码器特征
[1,512,188] - 输出:
ctc_logits [1,188,1025],每个时间步输出 1025 类(1024 词表 + blank=1024)的 logits - 配合贪心解码即可快速产出结果,关键词召回率可达 100%
仓库同时提供编译后的 .mlmodelc 与可分发的 .mlpackage 两种格式(CtcHead.mlpackage/Manifest.json),词表配置见 config.json(vocab_size: 1024)。
4️⃣ Decoder:TDT 预测网络(质量通道·上)
基于 LSTM 的预测网络(约 25MB),负责"根据已生成的文本预测下一个 token"。它是 TDT(Token-Duration Transducer)解码的一部分,让模型输出更连贯、更准确,代价是比 CTC 稍慢。
5️⃣ JointDecision:TDT 联合决策网络(质量通道·下)
联合网络(约 6MB),把"编码器特征"和"预测网络输出"融合起来,决策当前时刻应输出哪个 token 或保持静音(duration)。它与 Decoder 交替运行,完成逐帧对齐的高质量转录。
💡 组件 4、5 的转换逻辑位于 convert/parakeet-tdt-ctc-110m/coreml/individual_components.py(
DecoderWrapper、JointDecisionWrapper),一键导出脚本为 convert/parakeet-tdt-ctc-110m/coreml/convert-parakeet.py。
⚡ 两种解码模式怎么选?
| 指标 | TDT 模式(默认) | CTC 模式 |
|---|---|---|
| 精度 | 17.97% WER(Earnings22) | 稍低 |
| 速度 | 较快 | 最快 |
| 关键词召回 | — | 100%(1309/1309) |
| 推荐场景 | 完整转录 | 关键词检测/唤醒 |
实测在 M4 Pro 上,整条链路达到 358 倍实时(RTFx),772 个音频文件全部完成识别。
🚀 在 Apple Silicon 上快速上手
依赖声明见 pyproject.toml,核心依赖仅 coremltools、numpy、scipy:
# 使用 uv 安装(推荐)
uv sync
# 完整转录(TDT 模式,默认)
uv run scripts/inference.py --audio audio.wav
# 快速关键词检测(CTC 模式)
uv run scripts/inference.py --audio audio.wav --mode ctc
Python 侧只需两行即可调用:
from scripts.inference import ParakeetCoreML
model = ParakeetCoreML(".") # 加载当前目录的 .mlpackage
text = model.transcribe("audio.wav", mode="tdt")
📁 关键文件导航
| 文件/目录 | 作用 |
|---|---|
| README.md | 项目说明、性能基准与用法 |
| MelSpectrogram.mlmodelc/ | 组件①:梅尔谱预处理模型 |
| AudioEncoder.mlmodelc/ | 组件②:Conformer 编码器(含 6-bit 量化权重) |
| CtcHead.mlmodelc/、CtcHead.mlpackage/ | 组件③:CTC 投影头 |
| vocab.json、tokenizer.json | 1024 词表与分词配置(▁ 表示词首空格) |
| config.json、ctc_head_metadata.json | 词表/编码器维度/时间步等超参数 |
| special_tokens_map.json、tokenizer_config.json | 特殊 token(pad=0, bos=1, eos=2)配置 |
| uv.lock | 锁定的依赖版本 |
总结
parakeet-ctc-110m-coreml 把工业级混合 ASR 模型拆成了 5 个可独立调用的 CoreML 组件:梅尔谱预处理 → Conformer 编码 → CTC/TDT 双头解码。架构上的两个精髓值得记住:
- 编码器共享——两个解码头复用同一份 512×188 特征,省算力;
- 双头分工——要速度走 CTC,要精度走 TDT,一个模型覆盖两种场景。
如果你的项目跑在 Mac 或 iOS 上,这套组件就是"本地离线语音识别"的完整答案:总大小约 436MB,358 倍实时,且支持自定义词表做关键词召回。