Apple Neural Engine 实战:如何用 CoreML 部署 Parakeet-EOU-120M-CoreML-INT8 做端侧推理
Apple Neural Engine 实战:如何用 CoreML 部署 Parakeet-EOU-120M-CoreML-INT8 做端侧推理
Parakeet-EOU-120M-CoreML-INT8 是一个已转换为 CoreML 格式的流式语音识别(ASR)模型,可在 Apple Silicon 芯片的 Apple Neural Engine(ANE) 上直接运行实时语音转写,完全离线、不依赖云端。模型整体仅约 112 MB,并内置话语结束检测(EOU),说完一句话就能立刻出结果,非常适合做端侧语音输入和实时听写应用。
📌 这个模型解决什么问题
- 端侧推理:音频数据全部留在设备本地,响应快、隐私好,断网也能用
- 流式识别:以 320 ms 的音频块增量转写,边说边出文字
- 自动分句:模型原生输出
<EOU>token,无需额外部署 VAD(语音端点检测)模块 - 速度快:在 M2 Max 上 RTF 0.055,约 18 倍实时速度
🧩 模型架构一览
| 项目 | 参数 |
|---|---|
| 基础模型 | NVIDIA Parakeet-EOU-120M(FastConformer-RNNT) |
| 参数量 | 120M |
| 编码器 | 17 层 FastConformer |
| 解码器 | 1 层 LSTM |
| 量化 | INT8(编码器 INT8 palettization) |
| 采样率 | 16 kHz |
| 流式分块 | 320 ms(可配置) |
| 词表 | 1024 BPE + EOU + EOB + blank(共 1027) |
| 总大小 | 112.4 MB |
架构采用 RNNT(递归神经转导网络)的编码器—解码器—联合网络三段式结构,支持带缓存的流式解码,天然适合实时场景。
📦 仓库里有什么
仓库就是一个整理好的 CoreML 模型包,拿来即用:
| 文件 | 大小 | 说明 |
|---|---|---|
| encoder.mlmodelc | 102 MB | FastConformer 编码器(INT8) |
| decoder.mlmodelc | 7.5 MB | LSTM 预测网络 |
| joint.mlmodelc | 2.7 MB | RNNT 联合网络(1027 个输出) |
| config.json | <1 KB | 模型配置与流式参数 |
| vocab.json | 17 KB | BPE 词表 |
每个 .mlmodelc 目录都是编译好的 CoreML 模型产物,内部包含 model.mil(模型图的中间表示)与 weights/(权重数据)。例如编码器声明的输入是 audio_signal(128 个 mel 维 × 64 帧)以及若干流式缓存张量,正好对应分块流式推理的工作方式。
🚀 快速部署:三步上手
第一步:获取模型
git clone https://gitcode.com/hf_mirrors/aufklarer/Parakeet-EOU-120M-CoreML-INT8
第二步:集成模型文件
把 encoder.mlmodelc、decoder.mlmodelc、joint.mlmodelc、config.json、vocab.json 加入 Xcode 工程的资源目录(CLI 项目则放在可执行文件可访问的路径下)。
第三步:加载并推理
该模型与 speech-swift 框架配套分发,Swift 中几行代码即可跑起流式转写:
import ParakeetStreamingASR
let model = try await ParakeetStreamingASRModel.fromPretrained()
for await partial in model.transcribeStream(audioChunks: micStream) {
print(partial.text, partial.isFinal ? "[FINAL]" : "")
}
也可以用命令行工具直接转写音频文件:
audio transcribe --engine parakeet-eou --stream recording.wav
⚙️ 流式识别是如何工作的
模型采用分块流式推理,一个推理周期可以理解为"一块音频走一步":
- 特征提取:音频重采样到 16 kHz,提取 128 维 mel 频谱,每 320 ms(64 帧)切为一块
- 编码器:FastConformer 处理当前块,并读写约 2.6 MB 的流式缓存,保持前文上下文
- 解码器 + 联合网络:LSTM 解码器与 joint 网络基于编码器输出逐 token 生成文字
- 话语结束检测:joint 网络输出特殊 token
<EOU>(ID 1024)时,表示这句话结束了,当前段标记为最终结果
关键参数都能在 config.json 中找到:
"streaming": { "chunkMs": 320, "melFrames": 64 }
得益于固定大小的缓存设计,会话无论持续多久,内存占用都保持不变(实测 100 个 chunk 峰值内存增长为 0 MB)。
📊 实测性能:够不够快
官方基准在 Apple M2 Max 上测得,CoreML 使用 CPU + Neural Engine 混合计算:
| 指标 | 数值 |
|---|---|
| 编码器平均延迟 | 17.0 ms |
| 全链路平均延迟 | 17.7 ms |
| 全链路 P95 延迟 | 22.4 ms |
| RTF(实时率) | 0.055(18 倍实时) |
| 流式缓存 | 2.6 MB |
| 峰值内存增量 | 0 MB(100 chunks) |
也就是说,说完到出结果约 20 ms 内,体感几乎零延迟;即使在更老的 Apple Silicon 机型上,速度也足以从容应对实时转写需求。
💡 部署常见注意事项
- 优先启用 ANE:创建 MLModel 时计算单元设为
.all(CPU + Neural Engine),速度和能效最优 - 音频必须 16 kHz 单声道:模型输入是 mel 特征而非原始波形,采样率不对会直接影响识别质量
- 缓存要持续传:流式推理需要一直传入并写回
cache_last_channel、LSTM 状态等张量,丢失缓存会导致上下文断裂 - 语言以英文为主:基础模型面向英文训练,1024 个 BPE token 覆盖英文字符级组合
✅ 小结
Parakeet-EOU-120M-CoreML-INT8 展示了端侧语音识别可以做成什么样:112 MB 的体积、约 20 ms 的延迟、18 倍实时速度,还自带话语结束检测。如果你正在做语音输入、听写或语音助手类应用,希望一切都在设备本地完成,这套 CoreML 模型就是一个即插即用的完整方案。更多细节可参考仓库中的 README.md。