parakeet-ctc-110m-coreml架构全景图:5大CoreML组件与混合ASR模型深度拆解

原创2026-11-11 18:48:041,957 阅读
文章标签:语音人工智能本地部署

parakeet-ctc-110m-coreml架构全景图:5大CoreML组件与混合ASR模型深度拆解

parakeet-ctc-110m-coreml 是一个专为 Apple Silicon(M1/M2/M3/M4)优化的语音识别项目:它把 NVIDIA 的 Parakeet-TDT-CTC-110M 混合 ASR(自动语音识别)模型完整转换成了 CoreML 格式,由 5 大 CoreML 组件串联而成,在 M4 Pro 上可实现 358 倍实时推理速度。本文带你用一张数据流地图,拆解每个组件的输入输出与作用。

这是什么项目?

一句话概括:NVIDIA 的 Parakeet-TDT-CTC-110M 语音识别模型 → CoreML 格式的 Apple 平台推理版本。

该模型是"混合 ASR 模型",即一个共享的 Conformer 编码器 + 两个解码头:

解码头 特点 适用场景
CTC Head 快速贪心解码,速度最快 关键词检测(Keyword Spotting)
TDT Head Token-Duration Transducer,精度更高 完整转录

项目运行要求:macOS 13+、Apple Silicon、Python 3.10+(详见 README.md)。

📊 架构全景:一条音频的数据流地图

整条推理链路就像一条流水线,数据依次流过 5 个 CoreML 组件:

原始音频 ──▶ ① MelSpectrogram ──▶ ② AudioEncoder ──┬──▶ ③ CtcHead ──▶ CTC 结果
(16kHz, 15秒)     (梅尔谱)          (Conformer编码)    │
(240000样本)      (1501×80)        (512×188特征)      └──▶ ④ Decoder + ⑤ JointDecision ──▶ TDT 转录结果
阶段 组件 输入形状 输出形状
预处理 MelSpectrogram audio: [240000](15秒音频) melspectrogram_features: [1,1,1501,80]
编码 AudioEncoder [1,1,1501,80] encoder_output_embeds: [1,512,1,188] 等 4 路输出
CTC 解码 CtcHead [1,512,188] ctc_logits: [1,188,1025]
TDT 解码 Decoder + JointDecision 编码器特征 + 上一步预测 逐 token 转录

188 是时间步数,1024 是词表大小(vocab.json),1025 = 1024 + 1 个 blank 空白符(见 ctc_head_metadata.json)。

🧩 5大CoreML组件逐一拆解

1️⃣ MelSpectrogram:音频"翻译官"(预处理)

负责把原始音频转成模型能看懂的梅尔频谱图,仅约 1MB,几乎不占内存。

  • 输入:15 秒 16kHz 音频,共 240000 个采样点
  • 输出:1501 × 80 的梅尔频谱(1501 帧 × 80 个频率维)
  • 模型内部仅含 conv、matmul、log 等少量算子,可在 Apple 神经引擎上高效运行

规格详见 MelSpectrogram.mlmodelc/metadata.json。

2️⃣ AudioEncoder:Conformer 编码器(核心大脑)

最大的组件(约 400MB),也是"共享编码器"——CTC 和 TDT 两个头都复用它的输出。

  • 输入:梅尔谱 [1,1,1501,80]
  • 输出共 4 路,一次性把下游需要的特征全部算好:
    • encoder_output_embeds(512维,供 CTC Head 使用)
    • joint_projected_encoder_output_embeds(640维,供 TDT 联合网络使用)
    • ctc_head_raw_output / ctc_head_output(1025维,内置 CTC 投影,方便快速路径)
  • 算子统计可见 85 个 LayerNorm、51 个 SiLU、18 个 Softmax——典型的 Transformer/Conformer 结构(AudioEncoder.mlmodelc/metadata.json)
  • 权重采用 6-bit 调色板量化(Palettized 6-bit)+ 稀疏化存储,在保证精度的同时显著压缩体积

3️⃣ CtcHead:CTC 输出投影(快速通道)

轻量级组件(约 4MB),只做一层卷积投影 + 归一化:

  • 输入:编码器特征 [1,512,188]
  • 输出:ctc_logits [1,188,1025],每个时间步输出 1025 类(1024 词表 + blank=1024)的 logits
  • 配合贪心解码即可快速产出结果,关键词召回率可达 100%

仓库同时提供编译后的 .mlmodelc 与可分发的 .mlpackage 两种格式(CtcHead.mlpackage/Manifest.json),词表配置见 config.json(vocab_size: 1024)。

4️⃣ Decoder:TDT 预测网络(质量通道·上)

基于 LSTM 的预测网络(约 25MB),负责"根据已生成的文本预测下一个 token"。它是 TDT(Token-Duration Transducer)解码的一部分,让模型输出更连贯、更准确,代价是比 CTC 稍慢。

5️⃣ JointDecision:TDT 联合决策网络(质量通道·下)

联合网络(约 6MB),把"编码器特征"和"预测网络输出"融合起来,决策当前时刻应输出哪个 token 或保持静音(duration)。它与 Decoder 交替运行,完成逐帧对齐的高质量转录。

💡 组件 4、5 的转换逻辑位于 convert/parakeet-tdt-ctc-110m/coreml/individual_components.py(DecoderWrapper、JointDecisionWrapper),一键导出脚本为 convert/parakeet-tdt-ctc-110m/coreml/convert-parakeet.py。

⚡ 两种解码模式怎么选?

指标 TDT 模式(默认) CTC 模式
精度 17.97% WER(Earnings22) 稍低
速度 较快 最快
关键词召回 — 100%(1309/1309)
推荐场景 完整转录 关键词检测/唤醒

实测在 M4 Pro 上,整条链路达到 358 倍实时(RTFx),772 个音频文件全部完成识别。

🚀 在 Apple Silicon 上快速上手

依赖声明见 pyproject.toml,核心依赖仅 coremltools、numpy、scipy:

# 使用 uv 安装(推荐)
uv sync

# 完整转录(TDT 模式,默认)
uv run scripts/inference.py --audio audio.wav

# 快速关键词检测(CTC 模式)
uv run scripts/inference.py --audio audio.wav --mode ctc

Python 侧只需两行即可调用:

from scripts.inference import ParakeetCoreML
model = ParakeetCoreML(".")                    # 加载当前目录的 .mlpackage
text = model.transcribe("audio.wav", mode="tdt")

📁 关键文件导航

文件/目录 作用
README.md 项目说明、性能基准与用法
MelSpectrogram.mlmodelc/ 组件①:梅尔谱预处理模型
AudioEncoder.mlmodelc/ 组件②:Conformer 编码器(含 6-bit 量化权重)
CtcHead.mlmodelc/、CtcHead.mlpackage/ 组件③:CTC 投影头
vocab.json、tokenizer.json 1024 词表与分词配置(▁ 表示词首空格)
config.json、ctc_head_metadata.json 词表/编码器维度/时间步等超参数
special_tokens_map.json、tokenizer_config.json 特殊 token(pad=0, bos=1, eos=2)配置
uv.lock 锁定的依赖版本

总结

parakeet-ctc-110m-coreml 把工业级混合 ASR 模型拆成了 5 个可独立调用的 CoreML 组件:梅尔谱预处理 → Conformer 编码 → CTC/TDT 双头解码。架构上的两个精髓值得记住:

  1. 编码器共享——两个解码头复用同一份 512×188 特征,省算力;
  2. 双头分工——要速度走 CTC,要精度走 TDT,一个模型覆盖两种场景。

如果你的项目跑在 Mac 或 iOS 上,这套组件就是"本地离线语音识别"的完整答案:总大小约 436MB,358 倍实时,且支持自定义词表做关键词召回。

登录后查看全文
parakeet-ctc-110m-coreml