老笔记本也能跑本地转文字:512MB 的模型,内存账比 1GB 的还难算

原创2026-11-02 11:04:561,632 阅读
文章标签:桌面应用语音人工智能本地部署音频

老笔记本也能跑本地转文字:512MB 的模型,内存账比 1GB 的还难算

最近后台被同一类问题刷屏了:开会不敢用云端转写,录音里有客户报价、有离职谈话,一上传心里就发毛。于是大家翻出了 Handy 这个开源神器:完全离线、免费、装在自己电脑上,按住键说话,松手字就出来了。

然后第二步就卡住了。很多人点开模型列表,看到一堆“0.6B”“1.7B”“4B”,再看看自己那台 8GB 内存、核显、五年前买的笔记本,默默关掉了页面。

先给个结论:能跑,而且跑得不差。 但前提是你得把“模型大小等于内存占用”这个直觉扔掉,那是个坑。

一、先说清楚它到底是个啥

一句话:一个只住在你电脑里的速记员。不用联网,不用注册,录音不上传,说完的话直接打进微信、Word、飞书、浏览器搜索框——哪个输入框亮着,字就落在哪儿。

它的操作方式特别傻瓜:按住快捷键说话,松开就转;或者点一下开始、再点一下结束,开会记要点的时候更顺手。

说话的时候字跟着冒出来

上面这个悬浮条是转写时的实时预览,你还在说话,字已经一个个往外冒了。别小看这个设计,后面讲延迟的时候你会知道,它能把“等得不耐烦”这件事基本治好。

Windows、macOS、Linux 都能装,安装包双击下一步就行,不用显卡,不用命令行。这是它半年内在技术社区反复被推荐的原因——它把“本地 AI”这件听起来很硬核的事,做成了一个正常人会用的软件。

二、第一个坑:500MB 的文件,不等于 500MB 的内存

这是最多人算错的地方。

模型文件躺在硬盘上,就像冰箱里冻着的一袋饺子,500 克。可你要吃它,得烧一锅水、架上蒸屉、摆好碗碟蘸料。真正占地方的是整顿饭,不是那袋饺子。

一个 0.6B 级别的模型,Q4 量化后文件大约 477MB 到 590MB,加载进内存后光权重就要占 0.6GB 上下;再加上语音识别引擎自己的编码器缓存、麦克风音频缓冲、静音检测模块,以及这个软件本体(它用的是网页技术做的界面,本身就要吃三四百兆)。

所以一台 8GB 内存的老机器,跑一个 0.6B 模型,整机内存增量大约在 1.2GB 到 1.6GB 之间。这个量级,只要你不同时开二十个 Chrome 标签页,是完全活得下去的。

更反直觉的是“量化”这件事。同一个模型,官方给出了从 F32 到 Q4 的六种“口味”:

  • 原始 F32 版本约 2.47GB
  • 默认下载的 Q8_0 版本约 731MB
  • 最省的 Q4_K_M 版本约 477MB

文件缩到了五分之一,但内存不会同比例缩。因为模型里有些部件对精度敏感、不能压缩,还有些运行时开销是固定的。量化的收益是“从跑不动变成跑得动”,不是“数字除以五”。

顺带说个很多人不知道的细节:官方默认给你下载的是 Q8_0,不是最省内存的那一档。 想让老机器更宽松,可以把更小的 Q4 文件放进它的模型文件夹,重启后软件会自动认出来,单独列成一个带“(Q4_K_M)”后缀的模型,两个版本可以并存、随时切换。这个功能藏得有点深,但对小内存机器是实打实的救命稻草。

还有个隐藏的内存黑洞值得夸一句:这个项目的开发者专门修过一个“越用越胖”的毛病——在 Linux 上,每听写两分钟就会悄悄多吃掉大约 15MB 内存,而且不还给系统。修完之后这个数字降到了 0.5MB。愿意为 15MB 去改代码的团队,通常不会在别的地方糊弄你。

三、第二个坑:体积小,不等于跑得快

这才是真正颠覆认知的地方。

我把官方公布的基准数据换算了一下,用的是同一台测试笔记本(锐龙 4750U,纯 CPU,没开显卡加速)。测算口径是“说 30 秒的话,要等多久才出字”:

模型 文件(Q4) 纯 CPU 等 30 秒语音
canary 180M 139MB 约 1.4 秒
parakeet 110M 90MB 约 0.6 秒
parakeet 0.6B 477MB 约 2.1 秒
Qwen3-ASR 0.6B 590MB 约 5.7 秒
whisper-small 172MB 约 5.1 秒
whisper-medium 504MB 约 15.6 秒
whisper-large-v3 997MB 约 31 秒

看出来了吗?parakeet 0.6B 和 whisper-medium 体积一样,速度快了七倍多。 whisper-large-v3 更是夸张——你说 30 秒,它得算 31 秒,你话说得越快,它欠的债越多,实时性直接归零。

原因不在参数量,在“干活的方式”。Whisper 这类模型像一个边听边写、写一个字还要回头检查一遍的秘书,稳,但慢;Parakeet 这类模型听完一口气誊抄,快得多。你换的不是大小,是工种。

所以老机器真正的出路,不是把大模型一刀刀砍小,而是换一条技术路线。

四、延迟这事儿,心理预期该定在哪

项目方自己给了个很实在的标准:30 秒的口述,3 秒内出字算白送,5 秒是可接受的上限,超过就得算“偏慢”了。界面上那个四格速度条也是这么分的:2 秒内满格,3.5 秒三格,7.5 秒两格,20 秒一格。

但人的体感是另一回事。你盯着屏幕等,3 秒能等出 10 秒的焦虑。所以真正的舒适区其实在 2 到 5 秒,而这个区间恰好是老机器 + 0.6B 模型能稳稳拿下的。

再配两个设置,体验会明显不一样:

一是把“卸载模型”设成 2 分钟或 5 分钟。不用的时候它会把模型从内存里放掉,你切回去写文档、开视频会议,它不占地方;下次按键再自动加载。老机器必备。

二是别迷信显卡加速。核显太弱的时候,强制走 CPU 反而更稳,不会出现“显存不够、来回倒腾、越倒越慢”的尴尬。

五、降档之后,到底损失了多少准确率

这是最关键的一问。我拉了中文和英文两组的实测错误率(数字越低越好):

中文场景:

模型 文件(Q4) 中文错误率
Qwen3-ASR 1.7B 1.3GB 7.14%
Qwen3-ASR 0.6B 590MB 7.57%
whisper-large-v3 997MB 7.98%
Fun-ASR Nano 557MB 8.64%
SenseVoiceSmall 146MB 10.12%
whisper-medium 504MB 13.13%
whisper-small 172MB 23.06%
whisper-tiny 44MB 41.91%

英文场景:

模型 文件(Q4) 英文错误率
canary-qwen 2.5B 1.7GB 3.58%
parakeet 0.6B 477MB 3.99%
whisper-large-v3 997MB 4.03%
whisper-small 172MB 6.51%
whisper-tiny 44MB 13.84%

发现没有?中文这边,一个 590MB 的小模型,错误率居然比 997MB 的大模型还低一点点,速度快五倍多。英文这边,477MB 的 parakeet 和 997MB 的 whisper-large 几乎打平,速度快十四倍。

结论很硬:降档不一定降智,选错家族才降智。

但另一头也有反面教材:whisper-tiny 中文错误率 41.91%,基本等于“你说你的,它猜它的”。这就是典型的“砍过头”——为了省内存把智商也省没了。真正的甜点是 0.6B 这一档。

六、按内存对号入座

把上面这些拼起来,边界其实很清楚:

4GB 内存的老古董:目标是把总量压在 1GB 以内。选 canary 180M(139MB,英语德语法语)、parakeet 110M(90MB,纯英语、0.6 秒出字)、SenseVoiceSmall(146MB,中文可用)。代价是只支持少数语言,但日常听写够用。

8GB 内存的主力机:这是最舒服的一档。中文选 Qwen3-ASR 0.6B,英文选 parakeet 0.6B,多语言选 Fun-ASR Nano。整机增量 1.2 到 1.6GB,一边听写一边开浏览器毫无压力。

16GB 及以上:可以上 Qwen3-ASR 1.7B(1.3GB)或 cohere 2B(1.5GB),中文错误率能再压到 7.14%。至于 4B 级别的 Voxtral(2.8GB 文件),准确率确实漂亮,但纯 CPU 上要等 50 秒才出 30 秒的字,除非你有独立显卡,否则不建议。

七、普通人上手,门槛到底在哪

说实话,门槛不在技术,在“选模型”这一下。

安装很轻松:官网下安装包,Windows 可以用 winget 一条命令装,macOS 有 Homebrew,Linux 有 deb 包。第一次打开会让你授权麦克风和辅助输入权限,然后选一个模型下载——几百兆,几分钟的事。

真正需要你动脑的只有两分钟:打开设置,看一眼自己的内存,对照上面的表选一个;把“卸载模型”设成 2 分钟;麦克风选对(别选蓝牙耳机,macOS 上会掉音质)。

然后就可以忘了它。按住键说话,松手出字,全程断网也能用。

三种快捷键模式,按住、点按、自动都行

上图这个“自动”模式最推荐:按住就是按住说话,轻点一下就是开始/结束,两种习惯都能照顾到。

写在最后

我们过去几年被“AI 一定要大”这件事教育得太久了,以至于一想到本地跑模型,第一反应就是“我这破电脑不行”。

但语音转写这个场景很特殊:它不需要模型懂世界,只需要模型听得清。听得清这件事,0.6B 的参数就够了,剩下的算力全是浪费。

所以老机器跑本地转写,真正的门槛从来不是内存有多大,而是你有没有意识到:该换的是赛道,不是电脑。

你现在的电脑是几年买的、多大内存?如果让你选,你会为了 1% 的准确率多等 20 秒,还是宁可快一点、错几个字自己改?评论区聊聊。

登录后查看全文
Handy