10分钟上手Nemotron-3-Diarization:从下载模型到跑出带说话人标签的会议转写
10分钟上手Nemotron-3-Diarization:从下载模型到跑出带说话人标签的会议转写
开完一场两小时的会,最崩溃的不是开会本身,而是回头整理记录——谁提议的?谁拍的板?谁反驳的?翻录音反复倒带,一小时过去了,稿子还没动。
更头疼的是,现在语音转文字的工具一大堆,但转出来的东西往往是一大段密密麻麻的文字,分不清哪句是谁说的。你想@某个人确认一下他刚才的承诺,对不起,大海捞针去吧。
就在2026年9月23日,英伟达悄悄放出了一个开源模型:Nemotron 3 Diarization。它专门干一件事——听一段音频,然后清清楚楚地告诉你:谁,在什么时间,说了话。
配合语音识别模型,你的会议录音就能变成一份"说话人标签齐全"的转写稿。今天这篇文章,就带你10分钟把它跑起来。
一、它到底是干什么的?先搞懂一个概念
先说人话:这个模型叫"说话人分离"(Diarization),你可以把它理解成一个超快的会议速记员。
其他转写工具负责"把声音变成文字",而它只负责一件事:给每个说话人贴标签、记时间。
比如一段三人对话,它跑完会告诉你:
- 说话人0:0.51秒 ~ 12.62秒
- 说话人1:12.80秒 ~ 25.40秒
- 说话人2:25.55秒 ~ 40.10秒
注意它是"说话人0、说话人1"这种匿名编号,而不是"张总、李工"。它只认声音的"出场顺序",不认名字——名字要你自己去对应。
那它厉害在哪?厉害在八个人同时说话,它也不乱,而且能边听边写,几乎不用等录音结束。下面这组数字,比形容词有说服力。


二、到底有多牛?三个关键数字看懂
1. 最多支持8个说话人,而且"认人"不掉链子
这是它最硬核的能力。多人会议里最容易出现什么情况?A说一半,B插嘴,C又接着B的话说——声音叠在一起。
老一代模型在这种场景下经常"记岔":刚才说话的人,突然被换了一个编号,整份记录就乱了。Nemotron 3 Diarization 用了一个叫"说话人缓存"的机制,说人话就是:它会把每个开过口的人的"声音样子"记在小本本上,后面这个人再开口,哪怕隔了几十分钟、中间别人聊了半天,它也能认出来"哦,还是你"。
官方甚至专门放了一段8个不同声音同时开口的演示视频,专门秀这个能力。
2. 0.32秒的"边说边出结果"
它不是听完整个文件才开始工作,而是音频还在播,结果就在出。官方最低推荐的实时档位延迟只有0.32秒——差不多就是你一句话刚说完,它就把"刚才谁说了话"给标好了。直播字幕、实时通话质检这类场景,要的就是这个。
3. 打前代模型,是"碾压级"的差距
在8个权威公开测试集上,和英伟达上一代4人版模型相比:
- 平均错误率降了约42%;
- 人越多差距越夸张,多人场景下错误率最高降了70%;
- 推理速度还快了几倍,同样一段音频,处理时间大幅缩短。
最典型的例子:在专门刁难模型的多人会议测试集 NOTSOFAR1 上,上一代模型错误率还在20%上下,它直接压到7%左右。翻译一下:以前10句话里错两句话的归属,现在基本全对。
另外它只有1亿参数,是个非常轻巧的模型,不是那种要几十张卡伺候的大家伙。训练时倒是下了血本——8节点A100集群,9万多小时音频喂出来,其中1万小时是真实多人对话,剩下的靠合成混音"刷"出来的。
三、真正的王炸:和"说话人分离"配对的完整转写
光知道"谁在什么时候说话"还不够,大家真正想要的是那句话的后半句:说了什么?
英伟达把它和自家的流式语音识别模型(比如支持32种语言的 Nemotron 3.5 ASR,或者专门优化过多人重叠说话的 Parakeet 模型)拼在一起,就能直接输出一份"谁说了什么"的逐字稿,效果大致长这样:
说话人0:大家好,我们开始吧。 说话人1:我这里有最新的数据。 说话人2:我同意,但还有一个问题没解决。
每句话都带着说话人编号和时间戳,可以直接导入做会议纪要、客服复盘、播客字幕。而且它专门处理过"抢话"场景——两个人同时说话的时候,普通转写工具会把两个人的词搅在一起,这套组合拳下能分开处理。
四、10分钟上手:门槛到底高不高?
先给结论:尝鲜零门槛,本地部署也不难,但不需要顶级显卡。
想先试试水? 英伟达在 Hugging Face 上挂了在线 Demo(Spaces),浏览器打开就能玩:扔一段音频进去,实时看"谁说了什么"滚出来,一分钱不花,零安装。
想在本地跑? 三步走,全程不用写一行算法代码:
第一步,准备环境。需要一台装了 Linux 的机器和一块 NVIDIA 显卡(RTX 30 系起的消费级显卡都在官方支持列表里,因为模型只有1亿参数,很轻),然后按官方指引装好 NeMo 语音框架,装模型依赖就是几条安装命令的事。
第二步,拿模型。模型已经放在 Hugging Face 上公开,一行命令就能把权重下下来,也可以让程序直接从网上拉取。
第三步,扔音频进去跑。把你的会议录音(WAV、MP3 这些常见格式都行,统一转成16千赫兹单声道即可)交给模型,它就吐出一串带说话人标签和时间段的片段。录音多长都没关系,它分段处理,一小时、三小时的长录音也吃得下。
再往后一步,跟着官方指南把它和 ASR 模型配对,就能出上面那种带说话人标签的完整转写稿。
谁最适合折腾它?开会开到吐的职场人、要做复盘的客服团队、做节目需要给每位嘉宾标清楚字幕的播客/视频创作者,以及任何想搭本地实时会议转写服务的开发者。而且它用的是 OpenMDW 开源许可,商用没问题,这一点在开源圈里算相当大方了。
五、写在最后
以前,"录音转文字"早就不是新闻了;而"转出来还能分清是谁说的",曾经是各家付费企业产品的招牌功能。现在,这个能力的天花板级实现被英伟达直接开源了,免费,商用OK。
可以预见,接下来一波"开源会议纪要神器"、"开源实时对话字幕"会如雨后春笋冒出来——毕竟最难的"谁说了话"这一半已经有人替你把地基打好了。
最后留个话题给你:**你平时开会或听播客,最烦的是哪种情况?**是记不清谁说的哪句,还是多人抢话根本没法整理?欢迎在评论区聊聊,说不定下一个爆火工具就是冲着你的痛点去的。