30B的模型只“点亮”4B：英伟达开源的转写神器，一张显卡就能把1小时录音变成会议纪要

你有没有过这种经历：一场两小时的会开完，录音躺在手机里，光是“听一遍再敲成文字”就能耗掉整整一个下午？

找付费转写服务吧，按分钟计费，一场会几十块；把录音传到别人服务器上吧，聊的内容又实在不太放心。

10月28日，英伟达悄悄开源了一个叫 Nemotron 3.5 Transcribe 的模型，参数规模标着 30B（准确说是 340 亿总参数），但真正干活时只“点亮”4.3B。就是这个看似矛盾的数字组合，让一批原本只能看热闹的普通开发者，第一次觉得“我好像也能在自己机器上跑一下”。

它到底能不能把我们从录音地狱里捞出来？这张卡到底要多大？今天咱们把账算清楚。

一、它到底是个啥？一句话：会给声音“点名”的速记员

过去咱们印象里的语音转写，就是把声音变成字。

但真实开会不是这样的。老板说一句、你插一句、客户又补一句，转出来一大段连成串的文字，你根本分不清谁是谁，还得自己回头对录音一句句“认人”。

Nemotron 3.5 Transcribe 干的就是速记员 + 会议记录员 + 翻译三合一的活：

• 它能把话转成文字，还能决定是“一字不改连口头语都留着”，还是“去掉嗯嗯啊啊整理成通顺书面稿”；
• 它能给每句话贴上说话人标签，最多分辨 8 个人，谁说的、什么时候说的、说到第几秒，都能标出来；
• 它还能顺手把外语讲话直接翻译成中文文字，支持 40 种语言；
• 中间夹杂的“笑声”“咳嗽”“音乐声”，它也能标出来。

打个比方：以前你请的是个只会听写的实习生，现在请的是一位全程在场、还自带录音笔时间轴的资深会议秘书。

顺手说一句，前阵子刷屏的那个“能分清 8 个人说话”的英伟达开源认声模型（Nemotron-3-Diarization，1 亿参数），其实已经被塞进这个模型里当“耳朵”了。等于买一送一，不用再单独装一个。

二、“30B 只激活 4B”，这句黑话到底省在哪

这是全文最关键的一点，懂了它，你才知道自己该买什么卡。

你可以把模型想成一栋写字楼。

楼里一共 340 亿个“员工”（总参数），听着很吓人。但它的组织方式很特别——128 个专业小组，每次来活儿只叫 6 个组 + 1 个公共组上班。所以真正在处理你这段录音时，动起来的只有约 43 亿个员工（激活参数，其中语言部分是 35 亿，音频耳朵部分是 8 亿）。

这就带来一个非常实用的结果：

• 能不能装下，看总参数——因为所有员工的工位（权重）都得摆在显存里；
• 跑得快不快，看激活参数——因为每次只叫 6 个组干活，计算量小得多。

所以你会看到一个很反直觉的现象：一个“30B 级别”的模型，跑起来的速度居然接近小模型，但脑子里的知识储备是大模型的量级。

三、算显存：三档配置，最大和最小差 4 倍

同一个模型，英伟达放出了三种“压缩版本”，显存需求天差地别。这也是这篇文章标题里“最小可用配置”的真正答案。

第一档：BF16 原味版 权重文件实测约 67.5GB。想跑它，你得有单卡 80GB 的卡——H100、A100 80G、B200 这个级别。官方推荐配置就是一张 H100 80GB，显存占用率设到 94%。

第二档：FP8 压缩版 精度略降一点，体积大概砍半到 34GB 左右。48GB 的 L40S 就能接住，H100 当然更轻松。这一档是很多公司机房里“现成卡就能上”的甜点区。

第三档：NVFP4 极限压缩版 体积压到大约 17～20GB，这才是真正把门槛打到消费级的那一档：

• 一块 RTX 5090（32GB 显存） 就能跑；
• 英伟达自家那台巴掌大的 DGX Spark（128GB 统一内存）能跑；
• 连机器人、边缘设备上用的 Jetson Thor 也在官方支持列表里。

这里必须泼一盆冷水：官方兼容列表里，消费级显卡只写了 RTX 5090。你手上那张 24GB 的 RTX 4090、3090，并不在列。想省钱的读者别急着下单，先确认自己的卡在不在名单上。

四、首次启动：为什么“第一次”总是特别慢

很多人第一次跑大模型，都会被“卡住不动”吓一跳。

原因很简单：模型不是一个小软件，它是 67GB 的一坨权重。启动时要把这 67GB 从硬盘搬进显存，再编译一堆底层计算内核。

所以你会看到这样的体验曲线：

• 第一次启动：读盘几分钟起步，机械硬盘更是折磨，NVMe 固态会舒服很多；
• 开局前几个请求：明显偏慢，因为内核还在编译和预热；
• 跑顺之后：速度才真正放出来。

这意味着一个很现实的建议：别把它当“用完就关”的小工具，要当“常驻服务”来用。今天开一次、明天再开一次，你可能一半时间都花在等它起床。

五、快得有点离谱：10 分钟录音，几十秒出稿

先看官方放出的成绩单（一张 RTX PRO 6000 Blackwell 专业卡）：

• 极限调优下，每秒钟能“吞”下 2238 秒音频；
• 一段 30 秒的录音，0.13 秒就返回文字。

换算成我们熟悉的场景：一段 10 分钟（600 秒）的访谈，理想状态下也就是几秒钟的活。即便算上排队、长音频解码的开销，实际体验通常也是几十秒级，而不是你边听边敲的那个下午。

上面这张图不用看懂坐标轴，记住一句话就行：越靠左上角越香——同样的等待时间，能处理更多音频。橙色那条线（NVFP4 压缩版）明显跑在前面，这也是为什么“压缩”这件事对普通用户这么重要。

不过要提醒一句：开源版本没有官方那个“调优加速包”。官方自己说了，随 NeMo Speech 一起放出来的 vLLM 版本，速度大概是商业版的一半左右。在 H100 上，开源版开着推测解码大约是 340 倍实时——依然快得离谱，只是别拿“0.13 秒”去对标自己的机器。

六、说实话，它也有明显“偏科”

吹完优点，得讲讲实话，不然你上手会失望。

第一，中文不是它的最强项。 官方语言清单里，英语、法语、德语、西班牙语、意大利语这些标的是“领先水平”，中文普通话标的是“支持”——意思是能用，但可能需要你自己再喂点数据微调。中文测试集上的字错率是 8.62%，而英文在干净朗读测试里能低到 1.09%。差距肉眼可见。

第二，它不是“实时字幕”。 官方文档里特意强调：这是离线模型。它内部会把音频切成 30 秒一段处理，但那只是内部工序，不代表你说话它就能同步蹦字。想直播实时上字幕，得另找流式方案。

第三，多人中文会议仍是硬骨头。 英文会议场景的说话人错误率能压到 10% 出头，但中文会议数据集上，加上“谁说的”这层判断后，错误率会冲到 30% 以上。人一多、话一叠，它也会懵。

第四，偶尔会“卡带”。 官方文档里专门给了一段“重复内容清理”的后处理建议——说明它确实有极小概率陷入反复输出同一句话的循环。这点他们自己都承认了。

七、越用越准：这张图才是它真正的杀伤力

对普通读者来说，比“出厂多强”更重要的是“能不能练”。

英伟达放出的这张微调效果图，我建议你多看两眼：

左边是“出厂原样”，右边是“喂了自己的数据之后”：

• 斯瓦希里语的识别错误率，从 73.7% 直接砸到 20.8%——一个原本基本没法用的语言，硬生生被救活了；
• 语言识别准确率从 44.2% 拉到 92.1%；
• 情绪识别从 38.3% 提到 75.5%；
• 医疗录音的错误率从 24% 降到 12%。

翻译成人话：它出厂时是个通才，你喂它几百条自己行业的录音，它就能变成你公司专属的老员工。医生口音、你们公司的黑话、产品代号，都能被它记住。

这才是开源真正的价值——不是“免费”，是“可以变成你自己的”。

八、普通人怎么上手？三条路，门槛从低到高

第一条，纯围观（零成本、零门槛） 英伟达在 Hugging Face 上挂了个在线体验页，上传音频就能试。想知道它中文到底行不行，先去那儿丢一段自己的会议录音，一分钟就有答案。别急着装环境。

第二条，租卡试水（几十块能玩很久） 云端按小时租一张 H100 或 L40S，装好环境、把模型下载下来，跑几次真实录音，感受一下速度。用完关机，成本可控。适合自媒体、播客团队、法务和记者这类“一个月要转几十小时录音”的人。

第三条，本地常驻（一次性投入） 预算够，直接上 RTX 5090 跑 NVFP4 版，或者买台 DGX Spark。好处只有一个但极其关键：录音一步都不出你的屋子。医院的病历讨论、公司的财报电话会、律师的当事人访谈，这一类内容的隐私价值，远超过一张显卡的钱。

至于纯小白，我给你一句实在话：这件事的门槛不在“会不会写代码”，而在“愿不愿意折腾环境”。它需要特定版本的推理框架，装错版本会报一堆看不懂的错，第一次搞通常得耗掉一个下午。这不是“下载个 App 就能用”的东西。

写在最后

这个模型最值得玩味的地方，不是它多强，而是那个 “30B 的体格，4B 的饭量” 的设计思路。

过去我们总以为，AI 越强就越贵、越吃硬件。而 MoE 这条路在说：能不能让一栋大楼里只开几盏灯，就把活干了？

对普通人来说，这意味着曾经只在机房里的能力，正在往你的桌面、你的笔记本、甚至你桌上的一个小盒子里搬。今天是语音转写，明天可能就是你的私人翻译、你的会议助理、你的家庭医生助手——全程不用联网。

最后一个问题留给你：如果有一个“绝对不上传云端”的转写工具，你愿意为它多花多少钱？还是说，你更在意“打开网页就能用”的那份省事？

评论区聊聊，你手上最想被转成文字的那段录音，是什么？