iPhone 上语音识别到底能跑多快?speech-swift 端侧基准测试全解析(RTF、内存与 tok/s)
iPhone 上语音识别到底能跑多快?speech-swift 端侧基准测试全解析(RTF、内存与 tok/s)
speech-swift 是面向 Apple Silicon 的端侧 AI 语音工具包,把语音识别(ASR)、语音合成(TTS)、语音活动检测(VAD)与说话人分离全部跑在 iPhone / Mac 本地,不联网、不用 API Key。本文基于项目自带的基准测试数据,带你一次看懂 iPhone 语音识别的真实速度(RTF)、内存占用与端侧 LLM 解码吞吐(tok/s),帮你判断哪款端侧语音模型适合你的 App。
先搞懂三个核心指标:RTF、峰值内存、tok/s
看基准数据之前,先把"行话"翻译成人话:
| 指标 | 含义 | 怎么读 |
|---|---|---|
| RTF(Real Time Factor) | 实际耗时 ÷ 音频时长 | 越小越快;0.04 RTF = 1 秒音频只要 40ms 算完,约 25 倍实时 |
| 峰值内存(Peak memory) | 推理期间占用的最高统一内存 | 项目统一用 macOS/iOS 的 phys_footprint,与 Xcode Memory Report 一致 |
| tok/s | 端侧 LLM 每秒解码 token 数 | 数值越高,语音助手的"反应"越快 |
一句话原则:RTF < 1.0 就表示比实时还快,端侧语音识别的门槛其实很低——真正的挑战在于"够不够快 + 吃不吃内存 + 准确率掉不掉"。
📐 这些指标的统一定义来自 docs/benchmarks/ios-coreml.md:RTF = wall-time ÷ audio-seconds,warm-up 一次后取 5 次计时的中位数。
iPhone 16 Pro 端侧实测:语音识别到底能跑多快?
项目用内置的 iOSBenchmark 测试 App 在真机(iPhone 16 Pro,A18 Pro 芯片,iOS 26.5,Release 构建)上跑通每个 CoreML 模型,结果如下:
| 任务 | 模型(后端) | 速度 | 峰值内存 |
|---|---|---|---|
| 流式语音识别 + 断句 | Parakeet-EOU 120M · CoreML INT8 | 0.04 RTF(≈25× 实时) | 297 MB |
| 多语言语音识别 | Omnilingual 300M · CoreML INT8 | 0.28 RTF(≈3.6× 实时) | 495 MB |
| 语音合成 | Supertonic-3 99M · CoreML | 0.15 RTF(≈6.7× 实时) | 956 MB |
| 语音合成 | Kokoro-82M · CoreML | 0.08 RTF(≈12.5× 实时) | 676 MB |
| 端侧 LLM 解码 | FunctionGemma 270M · CoreML ANE | 128 tok/s | 236 MB |
🎯 结论先行:在 iPhone 神经引擎(ANE)上,语音识别、语音合成、LLM 解码全部快于实时。 300 MB 左右的内存预算就能撑起一个流式听写引擎(Parakeet-EOU),这对普通 App 来说毫无压力。
需要说明:iPhone 的数字比 Mac(M5 Pro)慢是预期内的——手机 ANE 的算力包络本就低于桌面芯片,这不是性能回退,而是硬件分级。
Mac 端对照:跨引擎 ASR 速度 × 准确率横评
只有速度还不够,端侧选型还要看准确率(WER,词错误率)。项目在 Apple M5 Pro(48 GB)上用 LibriSpeech test-clean 前 200 条语音(约 30 分钟)做了公平横评,每个引擎独立进程运行、单独计峰值内存:
| 引擎 | 后端 | WER% | RTF | 实时倍数 | 峰值内存 |
|---|---|---|---|---|---|
| Qwen3-ASR 1.7B | MLX(GPU)8-bit | 1.52 | 0.033 | 30.5× | 2 706 MB |
| WhisperKit Large-v3 Turbo | CoreML(ANE)FP16 | 1.71 | 0.084 | 11.9× | 427 MB |
| WhisperASR 原生运行时 | CoreML(ANE)FP16 | 1.73 | 0.077 | 13.1× | 445 MB |
| Qwen3-ASR 0.6B | MLX 4-bit | 2.20 | 0.012 | 85.6× | 1 022 MB |
| Parakeet TDT 0.6B v3 | CoreML(ANE)INT8 | 2.37 | 0.009 | 117.4× | 897 MB |
| Omnilingual 300M | MLX 4-bit | 4.26 | 0.005 | 222.1× | 384 MB |
| Nemotron 流式 | CoreML(ANE)INT8 | 2.82 | 0.058 | 17.1× | 961 MB |
📊 三个值得记住的"甜点":
- 准确率之王:Qwen3-ASR 1.7B 8-bit(WER 1.52%),比 WhisperKit 还快 2.6 倍,代价是 6 倍内存;
- 极致速度 + 极致省内存:Omnilingual 300M MLX 4-bit——222 倍实时、仅 384 MB,且支持 1672 种语言;
- 英语场景最稳:Parakeet TDT(117 倍实时,25 种欧洲语言)。
流式识别:边说边出字,Nemotron 跟得上吗?
流式(streaming)听写的体验由"每个 320ms 音频块的处理延迟"决定。Nemotron 流式 ASR 在 M5 Pro 上处理 63.7 秒长音频(320ms 分块)的结果:
| 版本 | 磁盘占用 | 流式 RTF | p50 分块延迟 |
|---|---|---|---|
| MLX INT5 | 538.6 MB | 0.0467 | 13.8 ms |
| MLX INT8 | 732.6 MB | 0.0485 | 14.3 ms |
| CoreML INT8 | 612 MB | 0.068 | 18.6 ms |
13.8ms 处理一个 320ms 的语音块,意味着你刚说完半个词,转写就已经跟上了——这正是端侧语音助手"低延迟"的核心来源。INT5 量化比 INT8 省约 192 MB 峰值内存,速度还略快一点。
🔬 完整方法与 6 语言 WER/CER 见 docs/benchmarks/nemotron-asr-streaming.md。
tok/s 篇:端侧 LLM 解码有多快?
语音链路里 LLM 主要负责"理解与决策",解码速度直接决定助手响应快慢。项目实测(CoreML 8-bit palettized,跑在神经引擎上):
| 模型 | 设备 | tok/s | 峰值内存 |
|---|---|---|---|
| FunctionGemma 270M | M5 Pro(Mac) | ≈252 tok/s | — |
| FunctionGemma 270M | iPhone 16 Pro | 128 tok/s | 236 MB |
128 tok/s 是什么概念?生成 200 个 token 的回复约 1.5 秒——在手机上,这已经接近"即时响应"的体感。
另一个参考点:9B 级的 Clef-flash(MLX 4-bit)在 M5 Pro 上处理一条 303-token 的决策请求平均仅 276ms,峰值物理内存 6.8 GiB——说明"更大的端侧模型"依然可行,但要为内存预算做好心理准备(docs/benchmarks/clef.md)。
批量推理与长时运行:速度会衰减吗?
两个容易被忽略、但决定线上体验的问题:
1️⃣ 批量转写能更快吗? Qwen3-ASR 的批量解码扫描(--batch-size 1/2/4/8)显示:最佳批次是 6,聚合 RTF 从 0.0165 降到 0.0148(1.113×),而 batch 8 反而更慢。结论:批量有收益,但不是"越大越好",上限要由基准实测决定(docs/benchmarks/qwen3-batch-decode.md)。
2️⃣ 长时间连续转写会降速吗? M2 Max 上连续跑约 42 分钟(200 条语音)的测试显示:WER 不降反微升(1.30% → 1.23%,在噪声范围内),RTF 反而从 0.672 改善到 0.400(CoreML 执行计划缓存越用越热),全程未检测到热降频。
3️⃣ 内存会越跑越高吗? Qwen3-ASR 的缓存策略实验给出了量化答案:修复后连续 30 次请求,进程内存从"滞留 7.04 GiB"降到 1.75 GiB,代价是每次请求平均 +18.8ms(+17.2%)。端侧推理里"省内存"与"少延迟"确实是一对需要权衡的矛盾(docs/benchmarks/qwen3-asr.md)。
怎么选?按场景对号入座
💡 结合上面所有数据,给普通开发者的三条实用建议:
- 手机 App 听写/会议记录 → Parakeet-EOU 120M(流式,0.04 RTF / 297 MB)或 Nemotron 流式(多语言 + 自动标点);
- 需要高准确率离线转写 → Qwen3-ASR 0.6B/1.7B MLX 量化版(WER 1.5~1.8%);
- 多语言覆盖优先 → Omnilingual 300M(1672 种语言,222× 实时、384 MB);
- 语音合成 → iPhone 上选 Kokoro-82M(0.08 RTF / 676 MB),Mac 上追求音质选 Qwen3-TTS 1.7B(RTF 0.85,仍快于实时)。
自己动手:一键复现这些数字
所有数据都可以本地复现,无需 CI:
- Mac 端:scripts/run_benchmarks.sh 一条命令完成构建、下载 LibriSpeech test-clean、跑
asr-bench并生成时间戳结果目录;--limit 10可做快速冒烟,--full跑完整数据集; - iPhone 端:Examples/iOSBenchmark/ 提供完整的
xcodegen + xcodebuild + devicectl流程,结果输出到Documents/results.json; - 基准工具核心源码在 Sources/AsrBenchmark/AsrBench.swift(WER 计算在 Sources/AsrBenchmark/WER.swift),
--isolated参数会为每个引擎起独立子进程,保证峰值内存是"单引擎真实值"而非串行累加。
写在最后
这套基准数据给出了一个清晰信号:端侧语音识别在 Apple Silicon 上早已不是"能不能跑"的问题,而是"跑多快、占多少内存、准确率掉多少"的精细权衡问题——iPhone 16 Pro 上 25 倍实时的流式识别、Mac 上 222 倍实时的批量转写、128 tok/s 的端侧 LLM,全部快于实时且内存可控。speech-swift 把每个模型拆成独立 SPM 模块,你只需要为自己用到的引擎付费(编译成本与内存),这正是端侧语音工程落地的关键前提。