iPhone 上语音识别到底能跑多快?speech-swift 端侧基准测试全解析(RTF、内存与 tok/s)

原创2026-10-13 21:21:141,608 阅读

iPhone 上语音识别到底能跑多快?speech-swift 端侧基准测试全解析(RTF、内存与 tok/s)

speech-swift 是面向 Apple Silicon 的端侧 AI 语音工具包,把语音识别(ASR)、语音合成(TTS)、语音活动检测(VAD)与说话人分离全部跑在 iPhone / Mac 本地,不联网、不用 API Key。本文基于项目自带的基准测试数据,带你一次看懂 iPhone 语音识别的真实速度(RTF)、内存占用与端侧 LLM 解码吞吐(tok/s),帮你判断哪款端侧语音模型适合你的 App。

先搞懂三个核心指标:RTF、峰值内存、tok/s

看基准数据之前,先把"行话"翻译成人话:

指标 含义 怎么读
RTF(Real Time Factor) 实际耗时 ÷ 音频时长 越小越快;0.04 RTF = 1 秒音频只要 40ms 算完,约 25 倍实时
峰值内存(Peak memory) 推理期间占用的最高统一内存 项目统一用 macOS/iOS 的 phys_footprint,与 Xcode Memory Report 一致
tok/s 端侧 LLM 每秒解码 token 数 数值越高,语音助手的"反应"越快

一句话原则:RTF < 1.0 就表示比实时还快,端侧语音识别的门槛其实很低——真正的挑战在于"够不够快 + 吃不吃内存 + 准确率掉不掉"。

📐 这些指标的统一定义来自 docs/benchmarks/ios-coreml.md:RTF = wall-time ÷ audio-seconds,warm-up 一次后取 5 次计时的中位数。

iPhone 16 Pro 端侧实测:语音识别到底能跑多快?

项目用内置的 iOSBenchmark 测试 App 在真机(iPhone 16 Pro,A18 Pro 芯片,iOS 26.5,Release 构建)上跑通每个 CoreML 模型,结果如下:

任务 模型(后端) 速度 峰值内存
流式语音识别 + 断句 Parakeet-EOU 120M · CoreML INT8 0.04 RTF(≈25× 实时) 297 MB
多语言语音识别 Omnilingual 300M · CoreML INT8 0.28 RTF(≈3.6× 实时) 495 MB
语音合成 Supertonic-3 99M · CoreML 0.15 RTF(≈6.7× 实时) 956 MB
语音合成 Kokoro-82M · CoreML 0.08 RTF(≈12.5× 实时) 676 MB
端侧 LLM 解码 FunctionGemma 270M · CoreML ANE 128 tok/s 236 MB

🎯 结论先行:在 iPhone 神经引擎(ANE)上,语音识别、语音合成、LLM 解码全部快于实时。 300 MB 左右的内存预算就能撑起一个流式听写引擎(Parakeet-EOU),这对普通 App 来说毫无压力。

需要说明:iPhone 的数字比 Mac(M5 Pro)慢是预期内的——手机 ANE 的算力包络本就低于桌面芯片,这不是性能回退,而是硬件分级。

Mac 端对照:跨引擎 ASR 速度 × 准确率横评

只有速度还不够,端侧选型还要看准确率(WER,词错误率)。项目在 Apple M5 Pro(48 GB)上用 LibriSpeech test-clean 前 200 条语音(约 30 分钟)做了公平横评,每个引擎独立进程运行、单独计峰值内存:

引擎 后端 WER% RTF 实时倍数 峰值内存
Qwen3-ASR 1.7B MLX(GPU)8-bit 1.52 0.033 30.5× 2 706 MB
WhisperKit Large-v3 Turbo CoreML(ANE)FP16 1.71 0.084 11.9× 427 MB
WhisperASR 原生运行时 CoreML(ANE)FP16 1.73 0.077 13.1× 445 MB
Qwen3-ASR 0.6B MLX 4-bit 2.20 0.012 85.6× 1 022 MB
Parakeet TDT 0.6B v3 CoreML(ANE)INT8 2.37 0.009 117.4× 897 MB
Omnilingual 300M MLX 4-bit 4.26 0.005 222.1× 384 MB
Nemotron 流式 CoreML(ANE)INT8 2.82 0.058 17.1× 961 MB

📊 三个值得记住的"甜点":

  • 准确率之王:Qwen3-ASR 1.7B 8-bit(WER 1.52%),比 WhisperKit 还快 2.6 倍,代价是 6 倍内存;
  • 极致速度 + 极致省内存:Omnilingual 300M MLX 4-bit——222 倍实时、仅 384 MB,且支持 1672 种语言;
  • 英语场景最稳:Parakeet TDT(117 倍实时,25 种欧洲语言)。

流式识别:边说边出字,Nemotron 跟得上吗?

流式(streaming)听写的体验由"每个 320ms 音频块的处理延迟"决定。Nemotron 流式 ASR 在 M5 Pro 上处理 63.7 秒长音频(320ms 分块)的结果:

版本 磁盘占用 流式 RTF p50 分块延迟
MLX INT5 538.6 MB 0.0467 13.8 ms
MLX INT8 732.6 MB 0.0485 14.3 ms
CoreML INT8 612 MB 0.068 18.6 ms

13.8ms 处理一个 320ms 的语音块,意味着你刚说完半个词,转写就已经跟上了——这正是端侧语音助手"低延迟"的核心来源。INT5 量化比 INT8 省约 192 MB 峰值内存,速度还略快一点。

🔬 完整方法与 6 语言 WER/CER 见 docs/benchmarks/nemotron-asr-streaming.md。

tok/s 篇:端侧 LLM 解码有多快?

语音链路里 LLM 主要负责"理解与决策",解码速度直接决定助手响应快慢。项目实测(CoreML 8-bit palettized,跑在神经引擎上):

模型 设备 tok/s 峰值内存
FunctionGemma 270M M5 Pro(Mac) ≈252 tok/s —
FunctionGemma 270M iPhone 16 Pro 128 tok/s 236 MB

128 tok/s 是什么概念?生成 200 个 token 的回复约 1.5 秒——在手机上,这已经接近"即时响应"的体感。

另一个参考点:9B 级的 Clef-flash(MLX 4-bit)在 M5 Pro 上处理一条 303-token 的决策请求平均仅 276ms,峰值物理内存 6.8 GiB——说明"更大的端侧模型"依然可行,但要为内存预算做好心理准备(docs/benchmarks/clef.md)。

批量推理与长时运行:速度会衰减吗?

两个容易被忽略、但决定线上体验的问题:

1️⃣ 批量转写能更快吗? Qwen3-ASR 的批量解码扫描(--batch-size 1/2/4/8)显示:最佳批次是 6,聚合 RTF 从 0.0165 降到 0.0148(1.113×),而 batch 8 反而更慢。结论:批量有收益,但不是"越大越好",上限要由基准实测决定(docs/benchmarks/qwen3-batch-decode.md)。

2️⃣ 长时间连续转写会降速吗? M2 Max 上连续跑约 42 分钟(200 条语音)的测试显示:WER 不降反微升(1.30% → 1.23%,在噪声范围内),RTF 反而从 0.672 改善到 0.400(CoreML 执行计划缓存越用越热),全程未检测到热降频。

3️⃣ 内存会越跑越高吗? Qwen3-ASR 的缓存策略实验给出了量化答案:修复后连续 30 次请求,进程内存从"滞留 7.04 GiB"降到 1.75 GiB,代价是每次请求平均 +18.8ms(+17.2%)。端侧推理里"省内存"与"少延迟"确实是一对需要权衡的矛盾(docs/benchmarks/qwen3-asr.md)。

怎么选?按场景对号入座

💡 结合上面所有数据,给普通开发者的三条实用建议:

  • 手机 App 听写/会议记录 → Parakeet-EOU 120M(流式,0.04 RTF / 297 MB)或 Nemotron 流式(多语言 + 自动标点);
  • 需要高准确率离线转写 → Qwen3-ASR 0.6B/1.7B MLX 量化版(WER 1.5~1.8%);
  • 多语言覆盖优先 → Omnilingual 300M(1672 种语言,222× 实时、384 MB);
  • 语音合成 → iPhone 上选 Kokoro-82M(0.08 RTF / 676 MB),Mac 上追求音质选 Qwen3-TTS 1.7B(RTF 0.85,仍快于实时)。

自己动手:一键复现这些数字

所有数据都可以本地复现,无需 CI:

  • Mac 端:scripts/run_benchmarks.sh 一条命令完成构建、下载 LibriSpeech test-clean、跑 asr-bench 并生成时间戳结果目录;--limit 10 可做快速冒烟,--full 跑完整数据集;
  • iPhone 端:Examples/iOSBenchmark/ 提供完整的 xcodegen + xcodebuild + devicectl 流程,结果输出到 Documents/results.json;
  • 基准工具核心源码在 Sources/AsrBenchmark/AsrBench.swift(WER 计算在 Sources/AsrBenchmark/WER.swift),--isolated 参数会为每个引擎起独立子进程,保证峰值内存是"单引擎真实值"而非串行累加。

写在最后

这套基准数据给出了一个清晰信号:端侧语音识别在 Apple Silicon 上早已不是"能不能跑"的问题,而是"跑多快、占多少内存、准确率掉多少"的精细权衡问题——iPhone 16 Pro 上 25 倍实时的流式识别、Mac 上 222 倍实时的批量转写、128 tok/s 的端侧 LLM,全部快于实时且内存可控。speech-swift 把每个模型拆成独立 SPM 模块,你只需要为自己用到的引擎付费(编译成本与内存),这正是端侧语音工程落地的关键前提。

登录后查看全文
speech-swift