一句话改口音、换情绪、扒人声:腾讯开源的AuK,能复制大模型的成功吗?

原创2026-10-23 17:47:072,188 阅读

一句话改口音、换情绪、扒人声:腾讯开源的AuK,能复制大模型的成功吗?

最近有声圈在传一个新玩法:把一段普普通通的录音丢进去,打一句“用耳语的方式把这段话说出来”,出来的就是贴着耳朵讲话的ASMR气声,连换气都像那么回事。

再狠一点,一句“把这段四川话改成标准普通话,音色别变”,口音没了,人还是那个人。

干这活儿的,是腾讯混元联合上海交大等单位开源的语音模型 AuK。2026年9月开源,15亿参数,MIT协议,代码和权重一起放出来,商用也行。

它最不一样的地方,不是某个功能特别炸,而是它想干一件大模型干过的事:把所有语音活儿,收进同一个“聊天框”里。

一、以前的语音工具,像一厨房的锅

做过短视频、播客、有声书的人都懂那种崩溃。

录了十分钟口播,第七分钟说错一个词。传统做法是重录一整段,或者在软件里剪开、补一句、再对齐音色和背景音,折腾半小时。

背景有空调声,开降噪软件;两个人同时说话要分开,开分离软件;想给角色换个情绪,再开一个变声软件;想从歌里扒人声,还得再找一个。

每个软件都有自己的界面、参数、导出格式,像厨房里十几口锅,煎炒烹炸各管一摊,做一顿饭得洗一堆锅。

AuK 的思路很“偷懒”:别管什么锅,你只管说人话。

一句话加一段音频,出来的就是你要的音频。官方列了16种任务,全都走这一个入口。

二、它到底是个啥?一句话:语音版的“万能师傅”

你可以把它想成一个手艺很全的老师傅。

你把素材递过去,说“把‘但是接受我们无法拥有的’改成‘与未竟的梦好好相处’”,他就只改这一小段,前后语气、音色、背景都不动。

你说“只保留第二个开口说话的人”,他就把另一个人从音轨里请出去。

你说“把这首歌里的人声单独留下”,他就把伴奏扒掉。

这背后其实有三个“部门”在配合:一个负责听懂你的指令和参考音频,一个负责把声音压成可以精细编辑的“压缩包”再还原,一个负责一点点把噪声“画”成声音。你不用管它们怎么分工,就像点菜不用管后厨怎么排班。

更实用的是零样本克隆:不用拿你的声音训练几个小时,给一段几十秒的参考音频,它就能用这个音色念新稿子,连参考音频的台词都不用你提供。

另一条路是“只凭描述造声音”。比如你写:“一位二十多岁的女生,面对刚回家的伴侣,温柔、关心、略带撒娇,语速稍慢,音色清甜,句尾轻轻上扬”,再给它要说的那句话,声音就出来了。

这已经不是“配音”,更像“用文字捏一个演员”。

三、最能打的几个场景,个个都戳痛点

第一,改口误,不用重录。

替换、插入、删除都行,只动你指定的那一小段。做口播的、做课程的、做电商详情的,这一条就能省下大量返工时间。

第二,去口音、改情绪、加笑声咳嗽。

论文里,去口音的训练数据覆盖了13类中文方言和地区口音。你让它“把方言腔改成标准普通话,音色维持一致”,它保留你的音色,只改发音习惯。

还有个挺有意思的“意外收获”:训练时只用中文方言数据教它去口音,结果它居然能给带印度口音、日本口音的英语“去味”。这说明它不是死记硬背某一类口音,而是学到了“口音”这件事本身。

第三,救废录音、拆人声。

空调声、混响、电话音、闷声、削波,都能按你的指令单独处理。注意是“按指令”:你让它只去噪声,它就保留混响;你让它只去混响,它就保留环境声。

两人抢话的采访,可以按“第几个开口”分离,也可以按“只保留说某句话的人”来锁定目标。歌里扒人声、歌词局部改写(得用无伴奏干声)也能做。

第四,速度。

它有个蒸馏版叫 AuK-Flash,4步出结果,不需要额外的引导计算,官方实测比完整版快4.5倍。完整版追求质量,闪速版追求“马上要”。

成绩单也不虚:零样本语音合成平均识别错误率2.65%,说话人相似度0.795,压过Qwen3-TTS和Seed-TTS;语音编辑里,“内容编辑”这一项联合成功率91.83%,此前同类最好成绩是76.46%。

当然,它偏科。

同一张表里,“情绪编辑”的成功率只有9.94%。也就是说,让它把一段话改成“愤怒”或“悲伤”,经常改不到位。这是它目前最明显的短板,官方论文也没有藏。

四、它和LLM,像在哪,又差在哪?

这才是这个项目最值得聊的地方。

大模型的成功,很大程度上是“接口的胜利”:不管翻译、写作、写代码、做表格,全塞进一个输入框,用户不需要学新软件。入口统一了,生态就起来了。

AuK 想复制的是这一层:不管合成、编辑、降噪、分离,全塞进“一句指令 + 一段音频”。

但语音和文字,有一道绕不过去的坎。

文字是乐高积木,一个字就是一个字,改起来边界清楚;声音是拉花咖啡,一句话里的音色、语气、口音、背景声全糊在一起,你改一个点,旁边全跟着动。所以“听懂指令”只是第一步,“改得干净、不改崩”才是真功夫。

也正因为这样,AuK 论文里承认了一件很实在的事:面对完全自由的大白话,它还不够稳。

所以它配了个“点菜员”——提示词增强器。你随口说“这段声音太闷了,救一下”,它会先判断这是降噪还是修音质,把话翻译成模型熟悉的标准指令,估算输出多长,再交给模型干活。这一步通常要接一个云端大模型接口。

换句话说,它不是“天生什么都懂”,而是“配个翻译就能干很多活”。

这像不像早期的大模型?能力有了,但要靠提示词工程把它“请”出来。从“有能力”到“稳定好用”,中间隔着的正是工程和生态。

五、普通人怎么玩?门槛到底高不高?

想尝鲜,最省事的是网页版 Demo,HuggingFace 和魔搭上都有,上传音频、打一句话就能试,不用装环境。

想本地跑,就得看显卡了。官方在A800上实测,完整版推理峰值显存约24.78GB;打开CPU卸载后降到16.75GB左右。后续优化又把编码器显存省了约7.5GB,一张24GB的消费级显卡已经摸得到门槛。

苹果M系列芯片有MLX推理支持,ComfyUI有现成节点,还有人做了GGUF离线版本,连手机端思路的轻量部署都在推进。它对开发者算是相当友好了。

但有几个“丑话”得说在前面:

一是时长。官方ComfyUI工作流里,输入音频加输出目标的总长度被卡在30秒以内,长音频得自己切。它适合“精修一小段”,不适合“整集播客一键成片”。

二是精细情绪还不行,别指望它替你演一场哭戏。

三是声音克隆的伦理和版权。技术越像人,越需要授权和边界,这不是模型能自己解决的。

所以它最适合谁?短视频和口播创作者、播客和有声书后期、电商运营、游戏和动画的配音预演、音乐小样制作、采访整理,以及想在自己的产品里加语音能力的开发者。

如果你只是想“一键把整部剧配音换掉”,它现在还不是那个工具。

六、能不能跑通商业化?关键不在模型

AuK 的姿态放得很低:MIT协议,权重直接给,连蒸馏训练流程也开源了,等于“锅和配方一起给你”。

生态起步也快得有点夸张:开源当天就被推理框架支持,随后vLLM、ComfyUI、音频推理工具链陆续接入,还被ICASSP 2027音频编辑挑战赛选为单模型赛道的基线。这套路数,很像当年Llama带起开源模型生态的样子。

但商业化的难点,从来不是“模型能不能跑”,而是四件事:

算力贵不贵、长音频能不能扛、专业工作流能不能嵌进去、声音版权怎么算。

它更像“语音界的开源底座”,真正赚钱的大概率在应用层:剪辑SaaS、MCN的批量生产、客服与客服质检、有声内容平台、游戏NPC语音。

而“统一接口”真正的价值,是让这些应用不用再拼五六个模型、维护五六套管线。省下来的工程成本,才是商业闭环的起点。

写在最后

AuK 让我想起ChatGPT刚火那阵子:大家一开始也只是觉得“它能聊天”,后来才发现,真正改变行业的是“所有事都能在一个框里试一下”。

语音模型大概也会走这条路,只不过它比文字更难,因为声音里藏着太多只可意会的东西。

现在它已经能做到:一句“把这段改成耳语”,就给你一段ASMR;一句“只留第二个人说话”,就把采访拆干净;一句“去掉口音,音色别变”,就让方言主播多了一种可能。

如果只能让它帮你干一件事,你最想改哪段音频? 是那段说错一个词的口播,还是那段吵得像菜市场的婚礼录像?评论区聊聊,说不定下一个爆款玩法就从这儿冒出来。

登录后查看全文