同样一段话,云端识别要等一秒多、本机只要0.1秒:两条语音链路的实测账本

原创2026-11-02 19:00:451,868 阅读
文章标签:语音桌面应用本地部署人工智能音频

同样一段话,云端识别要等一秒多、本机只要0.1秒:两条语音链路的实测账本

你有没有过这种体验:脑子里刚冒出一段话,赶紧按下语音输入,说完之后盯着屏幕干等——转圈、上传、识别,一两秒后才慢吞吞吐出文字,那点灵感早就凉了。

更让人心里发毛的是另一件事:你说的每一个字,都被打包传到了别人的服务器上。

最近 GitHub 上一个叫 Hex 的开源项目被不少科技号翻出来讨论,原因很简单——它把"语音转文字"这件事整个搬回了自己电脑里,而且快得有点反直觉。今天我们不聊代码,就把两条链路摊开来算账:一条是把声音送上云的"外包派",一条是在本机干活的"驻场派"。

一、先说明白:两条链路到底差在哪

打个比方。

云端识别,就像你把录音笔快递给一位速记员:录音要打包、要上路、要排队,对方听完再整理成稿子寄回来。哪怕对方手速再快,路上那一趟你躲不掉。

本机识别,则是这位速记员就坐在你旁边,你一边说他一边记,你嘴刚闭上,稿子已经递到手上了。

Hex 就是"驻场派"的代表。它是一个用 Rust 写的桌面语音听写工具:按住快捷键说话,松开手,文字直接出现在你正在用的软件光标处,微信、Word、浏览器输入框都行。默认情况下,它的语音识别完全在你自己电脑上完成,不联网、不调用任何云端接口。

而云端链路,就是我们手机输入法、会议软件、在线转写网站最常见的那套做法。

二、延迟实测:0.1 秒和"一秒起"的体感差

先看本机这条链路,项目方公开了不少自己跑出来的数字。

它最关键的一招叫"流式转写":不是等你说完才开始干活,而是你说的时候它已经在边听边转。所以不管你说了十秒还是两分钟,松手那一刻基本上只剩最后一点收尾。

实测数据是这样的:

  • 一段 2 分钟的讲话,在 RTX 5070 Ti 的 Windows 机器上,松手后约 0.1 秒完成;而传统的"整段录完再转"要 0.9 秒。
  • 同一段话在 MacBook Air M4 上,流式约 0.1 秒,整段转写要 2.8 秒。
  • 更细的一组:10 秒、27 秒、131 秒的三段话,松手到出字分别是 55、55、93 毫秒。
  • 一段 13 秒、40 个词的录音,在 Apple 芯片的 Mac 上,松手后 154 毫秒拿到全文,和整段转写的结果一字不差。

再看云端。这里必须说句公道话:不同服务商差别很大,有的做了长连接流式,体验也不错。但只要是"上传—识别—回传"这套结构,录音打包、网络往返、服务端排队这几步就绕不开,通常是从零点几秒起步,网络一抖就上一两秒。而且很多工具是"你说完它才开始",这中间的等待感会被放大。

0.1 秒和 1 秒,看起来只差不到一秒,但体感完全不是一个东西。前者你会忘了它在转写,后者你会下意识地停下来等它。语音输入能不能变成习惯,往往就卡在这一下。

不过也得说个实话。项目文档里自己写着一个已知毛病:如果说话中间停了很久(实测 6 秒、13 秒的长停顿),停顿之后刚开口的头几个字可能会丢。原因和它"边听边切块"的机制有关。这种把缺点主动写进文档的做法,反倒比那些只吹参数的宣传更让人放心。

三、准确率:中文口语和专有名词,谁更稳

这部分最容易吵架,我们直接上可比的数字。

在同一个中文测试集、同样的模型压缩精度下,几个本机模型的中文字错率是这样的:

  • Qwen3-ASR 0.6B:约 7.57%
  • Whisper large-v3-turbo:约 8.50%
  • SenseVoice Small:约 10.12%

粤语的差距更夸张:Qwen3-ASR 约 7.91%,Whisper turbo 却到了 34.62%。也就是说,本机模型在中文、粤语上已经不输云端,某些场景甚至更好。

但要注意两个前提。

第一,这个测试集是"朗读新闻式的标准句子",不是你我真实的口述。带口音、边说边想、背景有键盘声和同事聊天,成绩都会往下掉。

第二,本地模型有个天然短板——没听过的人名、产品名、内部黑话。云端大厂通常会给你热词表、上下文、甚至拿屏幕上的文字做参考,所以专有名词往往更稳。

Hex 在这块做了个挺聪明的尝试:一个"词汇表"实验功能。你把自己常说的名字加进去,它不是边听边猜,而是等整句转完之后回头检查——哪一小段发音像你名单里的词,再决定要不要改。

实测里,一位用户名字里的生僻词 "Abattoir",原本 19 次里只能听对 4 次,加词汇表后提到 12 次,流式模式下 13 次;而且没有出现"没说的词被硬塞进去"的情况。代价是每次多花 0.05 到 0.15 秒。

至于标点、语气词、"嗯、那个、就是说"的清理,以及固定的错词替换,本机工具现在也都能做,不再是云端的专利。

历史记录里连延迟都记得清清楚楚

四、隐私与成本:这笔账比参数更值得算

隐私这块,Hex 的做法算是把话说明白了:

  • 语音转文字和语音命令识别都在本机跑,默认不保存录音文件。
  • 历史记录只留文字,默认保存 7 天,上限 1 万条、16MB;不存音频,不存完整网址,不存窗口标题。
  • 本地日志可能含转写文字,但不会上传。
  • 只有你主动打开的"语音改写""语音指令"这类可选功能,才会把文字发给模型服务商。这两个开关默认是关的。

反过来看云端:音频离开你的设备,进入厂商服务器,留存多久、会不会被用于训练,取决于对方条款。对律师、医生、做并购的、写未公开方案的,这不是"介意不介意"的问题,而是合规红线。

可选的云端改写功能,默认关闭

成本也要算清楚。

本机派是"一次性投入":下载一个 0.7 到 0.9GB 的模型,之后每次识别都是零调用费,只花电费和一点内存。云端派是"按分钟续费":按常见的云端语音接口价格,一小时会议大约几毛到几块钱,一天三小时、一个月二十个工作日,就是几十到几百块的持续支出。用得越多,差距越大。

但本机派也有它的"隐形账单":吃硬件。老笔记本跑起来会慢,长录音的首字延迟也更明显;而云端只要网好,什么破电脑都能用。说到底,这是拿硬件换隐私和响应速度。

五、普通人怎么上手,门槛高不高

平台方面,macOS 是正式版(需要 Apple 芯片、macOS 15 以上),Windows 和 Linux 还是公测阶段,Linux 要 X11 或者兼容 wlroots 的 Wayland 桌面。

上手流程很朴素:装好应用,给麦克风和辅助功能两个权限,下载模型,然后按住 Option 说话,松手就出字。双击 Option 可以锁定连续录音,按 Esc 取消。不想用快捷键,也可以用命令行控制开始和结束。

中文用户这里有个坑必须提醒:默认模型是英文的。第一次装完直接用中文说,很可能觉得"这也太不准了",其实是你没切模型。手动把识别模型换成 Qwen3-ASR 这类中文强的型号,体验会完全不一样。

它适合谁?写稿的、开会的、程序员写注释和提交信息、需要保密的从业者,以及所有"打字比说话慢"的人。

不太适合谁?主要在手机上输入的人(它主打桌面),配置很老的电脑,以及不愿意折腾设置、只想开箱即用的用户——这部分人用云端服务确实更省心。

六、写在最后

语音输入这件事,正在从"能用"变成"忘了它在转写"。

云端链路赢在省心、生态和复杂场景的兜底能力;本机链路赢在响应速度、隐私和长期成本。真正聪明的用法,其实不是站队,而是分场景:日常闲聊、公开内容,云端随便用;涉及合同、病历、未发布方案的,让声音留在自己机器里。

最后抛个问题给你:如果只能二选一,你更愿意多等那半秒换个"什么都能识别"的云端大脑,还是宁可偶尔听错一个名字,也要保证声音一步都不出自家电脑?评论区聊聊你的选择。

(本文所有本机性能与准确率数据,均来自该开源项目公开的实测记录;云端延迟为通用链路结构的经验描述,不同服务商差异较大,未做点名横评。)

登录后查看全文
hex