parakeet-ultra-coreml 完全指南:终极端侧语音识别 Core ML 模型全景解析
parakeet-ultra-coreml 完全指南:终极端侧语音识别 Core ML 模型全景解析
parakeet-ultra-coreml 是一个将端侧语音识别模型 Parakeet-TDT-0.6B Ultra 编译为 Core ML 格式的开源项目。它让搭载 Apple Silicon 的 Mac 与 iOS 设备能够离线、高速地完成语音转文字(ASR),支持 25 种语言,在 M 系列芯片的神经引擎(ANE)上可跑出约 126 倍实时速度,精度还全面超过上一代 v3 版本 🎙️。
这是什么:一句话看懂 parakeet-ultra-coreml
简单来说,它做了一件事:把 NVIDIA 的 parakeet-tdt-0.6b-v3 经过全精度后训练得到的 Ultra 检查点,逐组件转换成 Core ML 模型(.mlmodelc 目录),使其成为 v3 组件契约的直接替换品(drop-in)。
- 📦 架构、25 种语言、分词器与输出格式与 v3 完全一致
- ⚡ Encoder 采用 int8 线性逐通道量化(体积约 595 MB),精度与 fp16 导出完全相同
- 🔄 Decoder 与联合决策网络直接从 Ultra 检查点重新导出
- 🛠 前置处理器(Preprocessor)与词表沿用 v3
更多细节见 README.md,量化与组件契约信息记录在 config.json 中。
模型组件全景:4 个 Core ML 模块各司其职
整个语音识别管线由 4 个组件 + 2 个词表文件组成,分工清晰:
| 组件 | 精度 | 职责 |
|---|---|---|
| Preprocessor.mlmodelc | int8 线性 | mel 特征前端:16 kHz 音频(15 s 窗口)→ mel 谱 [1,128,1501] |
| Encoder.mlmodelc | int8 逐通道 | 声学编码器:mel 谱 → 时序特征 [1,1024,188] |
| Decoder.mlmodelc | fp16 | RNNT 预测网络(prediction net) |
| JointDecisionv3.mlmodelc | fp16 | 单步联合决策 + top-K 64 搜索 |
| parakeet_vocab.json / parakeet_v3_vocab.json | — | v3 词表,共 8193 个 token |
以 Preprocessor.mlmodelc/metadata.json 为例可以看到它的接口定义:输入 audio_signal([1,240000],即 15 秒 16 kHz 音频)与 audio_length,输出 mel 特征 [1,128,1501]。这套"分窗口、分组件"的设计正是端侧实时流式识别的典型做法——每 15 秒一个处理窗口,逐帧推进解码。
精度与速度:实测数据一览
官方在 M 系列 Mac 上用完整语料库做了语料级 WER(词错误率)评测,Ultra 全面胜出:
| 测试集 | v3 (Core ML) | Ultra(本仓库) |
|---|---|---|
| LibriSpeech test-clean(2620 条) | 2.27% | 2.13% |
| LibriSpeech test-other(2939 条) | 4.12% | 3.81% |
| FLEURS,24 语言 × 100 条,均值 | 14.81% | 11.67% |
⚡ 速度方面,Ultra 与 v3 在同一台机器背靠背运行,ANE 上实测 test-clean 达 126.7× 实时(v3 为 128.6×),差距仅几个百分点。值得一提的是:int8 量化后的 Encoder 在完整 LibriSpeech 上与 fp16 导出的 WER 完全一致,属于"零精度损失的压缩"。
快速上手:FluidAudio 三行代码接入
项目配合 Swift 库 FluidAudio(≥ 下一版本)使用,接入只需几行:
let models = try await AsrModels.downloadAndLoad(version: .ultra)
let asr = AsrManager()
try await asr.initialize(models: models)
let result = try await asr.transcribe(audioFileURL)
也支持命令行方式直接转写音频文件:
swift run fluidaudiocli transcribe audio.wav --model-version ultra
系统要求与配置要点
根据 config.json 与各组件 metadata,部署前建议确认以下配置:
- 📱 最低系统:iOS 17+ / macOS 14+(模型为
mlProgram格式,要求 ios17 构建) - 🚀 计算单元:建议
cpuAndNeuralEngine,让 ANE 参与加速 - 🧩 契约版本:
parakeet-tdt-0.6b-v3-coreml,与 v3 组件契约兼容 - ⏱️ 处理窗口:固定 15 秒(mel 输入
[1,128,1501])
常见问题 FAQ
Q:int8 量化会损失精度吗? 不会。官方在完整 LibriSpeech 语料上验证,int8 逐通道量化 Encoder 与 fp16 导出的 WER 相同(2.13% / 3.79%),速度也与 iOS 18 导出持平。
Q:支持哪些语言?
共 25 种,包括英语、德语、法语、西班牙语、意大利语、葡萄牙语、俄语、乌克兰语、波兰语、捷克语、荷兰语等,详见 README.md 头部的 language 字段。
Q:模型体积大吗? Encoder 约 595 MB(int8 量化后),是体积最大的组件;其余组件与词表文件均远小于它。
获取项目
如需在自己的设备上试用,可克隆仓库:
git clone https://gitcode.com/hf_mirrors/FluidInference/parakeet-ultra-coreml
小结
parakeet-ultra-coreml 用四个分工明确的 Core ML 组件,把 25 语言、126 倍实时的端侧语音识别能力带到了 Apple 设备本地:int8 量化不损精度、与 v3 契约完全兼容、三行代码即可集成。如果你正在为 Mac 或 iOS 应用寻找离线语音识别方案,这套 Core ML 模型值得放进你的技术清单 ✅