腾讯混元放出大招:一句话干完16种音频活儿,语音AI的"ChatGPT时刻"真来了?
腾讯混元放出大招:一句话干完16种音频活儿,语音AI的"ChatGPT时刻"真来了?
9月9号那天,科技圈炸出了一个不小的动静。
腾讯混元联手上海交通大学、上海创新研究院,把一个叫 AuK 的语音模型整个开源了——代码、权重全放出来,MIT协议,随便商用。
为什么动静这么大?因为它是头一个把 16种语音任务,全部塞进一句话指令里 的开源模型。
以前想做好一段音频,你得打开一堆工具:配音用配音软件,去杂音用去噪软件,剪词用剪辑软件,改情绪……对不起,改不了。
现在,你只需要对它说一句话。
一、它到底是啥?一句话说清楚
咱们先打个比方。
你开过汽车4S店吗?做保养、喷漆、换轮胎、贴膜,每一样都要去不同的工位找不同的师傅。
以前的语音工具链就是这样的"4S店":文字转语音、克隆音色、去噪、分离人声、改音调……16个工位,16个软件,每个都得单独学。
AuK干了件狠事:把16个工位合并成了一个柜台,而且柜台不收工单,收"人话"。
你不用记任何参数,不用点任何按钮,只要打字:
"把这段音频里的口音去掉,其他不变。"
"用这个女生的声音,把这句话读出来。"
"把歌曲里这句歌词换成'今晚月色真好',旋律和唱腔保持原样。"
它听得懂,然后直接还你一段处理好的音频。
这套"说人话就行"的交互方式,是不是很眼熟?对,这就是ChatGPT当年统一文字世界的玩法。现在,它把同样的逻辑搬进了语音世界。
所以网友说"语音AI的ChatGPT时刻提前到了",指的就是这个:不再是16个专用工具,而是一个听得懂人话的"全能声音管家"。
二、到底有多牛?挑几个最上头的功能说
1. 录10秒,克隆任意人声
这就是所谓零样本TTS。给AuK一段参考音频,不用长,几秒到十几秒就行,它就能抓住这个人的音色特点。然后你说"用这个人的声音,把这段文字念出来",它念。
声音像不像?官方在Seed-TTS-Eval等主流测试里拿了领先成绩——说白了,就是"以假乱真"那一档。
2. 一句话改口音,这是刷屏最狠的功能
今日头条上有篇实测文章标题就写着:《一句话改口音,MIT协议开源》。
你想象一下这个场景:一位湖南大爷给孙子录语音讲睡前故事,普通话带着浓浓乡音,字有点含糊。你对AuK说一句"去掉口音,保留他的音色和语气",出来就是一段清晰的普通话,但声音还是那个大爷。
这种"只改一处、其他全保留"的能力,是AuK的核心功力。同样的原理,它还能:
- 改情绪:同一句话,从平静变成开心、生气、低沉
- 改音色:男声变女声、真人变"大叔音"
- 改语速音高音量:加速1.5倍、音调降两个半音,一句话的事
- 加/删笑声、呼吸声、咳嗽声:播客剪辑里这些"杂音"最难抠,它说删就删
- 悄悄话转换:正常说话变气声耳语,反过来也行
3. 改内容不重录,改歌词不掉调
这个功能对短视频和音频创作者是真香。
视频里人物说错了一个字?以前要么重拍,要么硬着头皮用AI换掉整句话,结果语感全变了。现在你直接说"把'明天'改成'后天',别的保持不变",原声的音色、语速、韵律全都在,就那两个字被换掉了。
更绝的是歌词编辑:一首翻唱,旋律和唱腔不动,只把歌词换掉。做音乐二创的人看到这条,应该已经在研究怎么部署它了。
4. 降噪+分离,后期救星
手机录的视频背景全是环境音?一句话去噪去混响。
两个人打电话录音糊成一锅粥?告诉它"只保留先说话的那个人",它就把这一路人声单独拎出来。
从歌里把演唱的人声抽出来、伴奏留下?也可以。
5. 还有个"闪速版"
官方同时放出了 AuK-Flash,相当于给模型"瘦身加速"后的版本:原来生成一段音频要跑很多步,它只跑4步,速度直接快4.5倍,音质基本不打折。日常用这个就够。
三、普通人能玩吗?门槛高不高?
分两种情况,说清楚。
只想体验,不想折腾的:白嫖在线版。
AuK在 Hugging Face 和 ModelScope 上都有免费的在线演示页面,打开网页就能玩:上传音频、打字下指令、等几秒收结果。不需要显卡,不需要装任何东西,手机流量都不一定耗得起的流量,浏览器就够。
想部署到自己电脑上的:得有点装备。
模型本体只有15亿参数,不算大,但它要配一个30亿参数的多模态"大脑"一起跑,加起来对显存要求不低,普通办公本的核显基本无缘。建议有24G以上独立显卡的发烧友再折腾本地部署。好消息是生态跟得很紧——网页界面、可视化工作流(ComfyUI)、服务器部署框架,都有现成方案,装好权重就能跑。
另外要提前泼两盆冷水,免得你兴冲冲上手踩坑:
- 目前音频长度有限制,大概30秒一段,长音频得切着来;
- 情绪编辑是目前相对弱的一环,官方技术报告自己也承认,想靠一句话精准拿捏"又委屈又欣慰"这种复杂情绪,还得再等等。
总体来说:体验用在线版零门槛,本地跑是发烧友的事。它的目标人群其实很明确——短视频创作者、播客主、有声书和广播剧团队、音频后期工程师,以及想把语音能力接进自己产品的开发者。
四、为什么这次真的不一样?
最后聊点"格局"。
语音AI这个赛道其实卷了两年了。阿里、B站、小红书都有开源的语音克隆模型,单看"文字转语音"这一项,大家水平咬得很紧,谁也不比谁差多少。
但AuK真正捅破的,是另一层窗户纸:把语音从"工具"变成了"助手"。
以前的逻辑是:你告诉软件"调用去噪功能,参数强度3,频段800到3200"。你是工具的保姆。
现在的逻辑是:你告诉模型"把这段录音变得干净清楚一点"。你是下指令的人。
这就是ChatGPT当年给文字世界带来的变化——用户不再需要懂工具,只需要会说人话。 当16种任务共享同一个"说人话"的入口,意味着接下来语音领域的竞争焦点,会从"单个任务谁更强",转向"谁更听得懂人话、谁的综合体验更完整"。
这对普通人意味着什么?意味着再过一两年,配音、剪辑、降噪这些以前要花钱请后期做的事,可能会像今天用AI写文案一样稀松平常。
创作者的成本被砍掉一块,行业的活儿就得重新分。
最后留个问题给大家:
如果"一句话改口音"、"一句话克隆声音"都成真了,你最想拿它玩点什么?是用来给爸妈的方言录音做个清晰版,还是想克隆自己的声音给十年后的自己留段话?
评论区聊聊。
(AuK 已采用 MIT 协议开源,代码与模型权重均可免费下载,商用无需额外授权,感兴趣的可以自己去 Hugging Face 或 ModelScope 搜"tencent/AuK"看看。)