Apple Neural Engine 实战:如何用 CoreML 部署 Parakeet-EOU-120M-CoreML-INT8 做端侧推理

原创2026-11-09 14:50:041,987 阅读
文章标签:语音本地部署模型量化人工智能移动端

Apple Neural Engine 实战:如何用 CoreML 部署 Parakeet-EOU-120M-CoreML-INT8 做端侧推理

Parakeet-EOU-120M-CoreML-INT8 是一个已转换为 CoreML 格式的流式语音识别(ASR)模型,可在 Apple Silicon 芯片的 Apple Neural Engine(ANE) 上直接运行实时语音转写,完全离线、不依赖云端。模型整体仅约 112 MB,并内置话语结束检测(EOU),说完一句话就能立刻出结果,非常适合做端侧语音输入和实时听写应用。

📌 这个模型解决什么问题

  • 端侧推理:音频数据全部留在设备本地,响应快、隐私好,断网也能用
  • 流式识别:以 320 ms 的音频块增量转写,边说边出文字
  • 自动分句:模型原生输出 <EOU> token,无需额外部署 VAD(语音端点检测)模块
  • 速度快:在 M2 Max 上 RTF 0.055,约 18 倍实时速度

🧩 模型架构一览

项目 参数
基础模型 NVIDIA Parakeet-EOU-120M(FastConformer-RNNT)
参数量 120M
编码器 17 层 FastConformer
解码器 1 层 LSTM
量化 INT8(编码器 INT8 palettization)
采样率 16 kHz
流式分块 320 ms(可配置)
词表 1024 BPE + EOU + EOB + blank(共 1027)
总大小 112.4 MB

架构采用 RNNT(递归神经转导网络)的编码器—解码器—联合网络三段式结构,支持带缓存的流式解码,天然适合实时场景。

📦 仓库里有什么

仓库就是一个整理好的 CoreML 模型包,拿来即用:

文件 大小 说明
encoder.mlmodelc 102 MB FastConformer 编码器(INT8)
decoder.mlmodelc 7.5 MB LSTM 预测网络
joint.mlmodelc 2.7 MB RNNT 联合网络(1027 个输出)
config.json <1 KB 模型配置与流式参数
vocab.json 17 KB BPE 词表

每个 .mlmodelc 目录都是编译好的 CoreML 模型产物,内部包含 model.mil(模型图的中间表示)与 weights/(权重数据)。例如编码器声明的输入是 audio_signal(128 个 mel 维 × 64 帧)以及若干流式缓存张量,正好对应分块流式推理的工作方式。

🚀 快速部署:三步上手

第一步:获取模型

git clone https://gitcode.com/hf_mirrors/aufklarer/Parakeet-EOU-120M-CoreML-INT8

第二步:集成模型文件

把 encoder.mlmodelc、decoder.mlmodelc、joint.mlmodelc、config.json、vocab.json 加入 Xcode 工程的资源目录(CLI 项目则放在可执行文件可访问的路径下)。

第三步:加载并推理

该模型与 speech-swift 框架配套分发,Swift 中几行代码即可跑起流式转写:

import ParakeetStreamingASR

let model = try await ParakeetStreamingASRModel.fromPretrained()

for await partial in model.transcribeStream(audioChunks: micStream) {
    print(partial.text, partial.isFinal ? "[FINAL]" : "")
}

也可以用命令行工具直接转写音频文件:

audio transcribe --engine parakeet-eou --stream recording.wav

⚙️ 流式识别是如何工作的

模型采用分块流式推理,一个推理周期可以理解为"一块音频走一步":

  1. 特征提取:音频重采样到 16 kHz,提取 128 维 mel 频谱,每 320 ms(64 帧)切为一块
  2. 编码器:FastConformer 处理当前块,并读写约 2.6 MB 的流式缓存,保持前文上下文
  3. 解码器 + 联合网络:LSTM 解码器与 joint 网络基于编码器输出逐 token 生成文字
  4. 话语结束检测:joint 网络输出特殊 token <EOU>(ID 1024)时,表示这句话结束了,当前段标记为最终结果

关键参数都能在 config.json 中找到:

"streaming": { "chunkMs": 320, "melFrames": 64 }

得益于固定大小的缓存设计,会话无论持续多久,内存占用都保持不变(实测 100 个 chunk 峰值内存增长为 0 MB)。

📊 实测性能:够不够快

官方基准在 Apple M2 Max 上测得,CoreML 使用 CPU + Neural Engine 混合计算:

指标 数值
编码器平均延迟 17.0 ms
全链路平均延迟 17.7 ms
全链路 P95 延迟 22.4 ms
RTF(实时率) 0.055(18 倍实时)
流式缓存 2.6 MB
峰值内存增量 0 MB(100 chunks)

也就是说,说完到出结果约 20 ms 内,体感几乎零延迟;即使在更老的 Apple Silicon 机型上,速度也足以从容应对实时转写需求。

💡 部署常见注意事项

  • 优先启用 ANE:创建 MLModel 时计算单元设为 .all(CPU + Neural Engine),速度和能效最优
  • 音频必须 16 kHz 单声道:模型输入是 mel 特征而非原始波形,采样率不对会直接影响识别质量
  • 缓存要持续传:流式推理需要一直传入并写回 cache_last_channel、LSTM 状态等张量,丢失缓存会导致上下文断裂
  • 语言以英文为主:基础模型面向英文训练,1024 个 BPE token 覆盖英文字符级组合

✅ 小结

Parakeet-EOU-120M-CoreML-INT8 展示了端侧语音识别可以做成什么样:112 MB 的体积、约 20 ms 的延迟、18 倍实时速度,还自带话语结束检测。如果你正在做语音输入、听写或语音助手类应用,希望一切都在设备本地完成,这套 CoreML 模型就是一个即插即用的完整方案。更多细节可参考仓库中的 README.md。

登录后查看全文
Parakeet-EOU-120M-CoreML-INT8