大模型不“说话”了:28项判断从1.9秒压到0.27秒,自回归要被取代了吗?
大模型不“说话”了:28项判断从1.9秒压到0.27秒,自回归要被取代了吗?
最近AI圈出现了一个挺反常识的趋势。
一边,各家大模型还在拼命学“说话”:写文章、写代码、陪人聊天,恨不得把话说得越漂亮越好。
另一边,一批新模型却在主动“闭嘴”。前OpenAI研究员做的Jev、开源平替Laya、Cloudflare的Clef,讲的都是同一件事:AI不一定非要把答案一个字一个字写出来,它可以像考卷上的选择题一样,一次打勾,直接给结果。
在这股风里,开源项目Qwen-2.5-1B-RLCD提供了一个特别直观的样本。
项目名里写作1B,实际用的是Qwen2.5-1.5B-Instruct这个约15亿参数的小模型。在苹果M4 Max笔记本上,它把企业工单的28项判断从1.9秒压到0.27秒,最高约7倍加速;面对255个报关编码选项,也能在89毫秒内给出答案。
更关键的是,它不只给答案,还告诉你“我有几成把握”。
它为什么能这么快?放弃“说话”到底要付出什么代价?普通人又能不能玩?我们一件件拆开看。
一、先搞懂:什么叫“自回归”?
用大白话说,自回归就是“一个字一个字往外蹦”。
你让AI判断一张工单的优先级,它不会直接告诉你“P0”,而是先写一个左花括号,再写换行,再写字段名,再写冒号,再写答案……每蹦出一个字,模型都要重新算一遍。前一个字没写完,后一个字就没法开始。
这套办法的好处是能写长文、能解释、能聊天,坏处也很明显:慢。
字段少的时候还能忍,字段一多,就像排队结账,前面的人一个个慢慢掏零钱,后面的人只能干等。
项目里的基准测试很直观:一张包含28个字段的工单,传统自回归要跑312轮,总共约1.9秒;并行方案只跑1轮,约270毫秒。
这就是差距的来源。
二、非自回归决策头,像“一张卷子同时打勾”
这个项目的思路,说穿了不复杂。
它不逐字生成答案,而是先把材料完整读一遍,把“理解”存成一份笔记;然后把这份笔记复印给所有字段,每个字段只在自己的候选答案里挑一个。
打个比方:原来的做法是一个老师从头到尾把整张卷子写完;现在的做法是先通读材料,再把同一份理解复印给28个判卷老师,每人只负责一道选择题,同时给分。
这里有三个关键动作。
第一,只准在选项里选。
比如风险等级只有“低、中、高、危急”四个选项,其他词直接取消考试资格。模型不会突然冒出一句“我觉得还行”,也不会把字段名拼错。格式从源头上就被锁死了。
第二,材料只读一遍,理解反复复用。
不用每个字段都把原文重读一遍。就像老师先把课文读透,再把同一份理解分给所有判卷老师,省掉了大量重复劳动。
第三,答案由程序拼装。
每个字段选出结果后,程序像填空一样把它拼成标准的结构化数据。所以它敢说“100%格式合法”,不是靠事后修修补补,而是根本没给错误留机会。
严格说,它没有另训一个全新的“小脑袋”,而是在模型输出候选词时做了限制,只让选项里的答案参与打分。效果上,确实像一个专门用来做判断的决策头。
三、7倍加速,快在哪?
先看几组实测数据。
- 28个字段的企业工单分派:1.9秒 → 0.27秒,约7倍;
- 4个字段的金融欺诈路由:420毫秒 → 75毫秒,约5.6倍;
- 255选1的报关编码归类:500毫秒 → 89毫秒,约5.6倍;
- 4bit量化后,内存占用约1.1GB,一台M4 Max笔记本就能跑。
注意,这不是靠换更贵的显卡硬堆出来的,而是把“逐字写”改成了“一次判”。
社区里也有类似的实测:端侧做JSON信息抽取,延迟从1669毫秒降到295毫秒。技术路径不完全一样,但思路一致:把格式约束从“事后检查”前移到“生成时只准选对的”。
过去很多系统是让模型自由发挥,生成完再拿解析器检查,格式错了就重试。重试一次,时间和成本就翻倍。现在变成“开卷考试,答案只在选项里”,解析失败这件事基本被消灭了。
对于一天要处理几十万张工单、几百万条评论的系统来说,省下来的不是几毫秒,而是真金白银的算力和排队时间。
四、比快更值钱:它知道自己“几分把握”
如果只是快,这个故事还不够性感。
真正让业务方眼前一亮的是:它每给一个答案,都会附带一个概率。
比如一张工单,它可能这样告诉你:
风险等级是“危急”,把握99.2%; 是否需要升级给高管,答案是“是”,把握98.8%; 建议动作是“临时冻结”,把握97.2%; 旁边还列出第二、第三候选,以及各自的概率。
这就像老医生看片子,不光说“像肺炎”,还说“我八成把握”。医院立刻就能定规则:九成以上直接开药,七到九成再拍个片,七成以下叫主任来。
业务里,这叫置信度闸门。
高置信度的,自动放行、自动分派、自动拦截;中等置信度的,转人工复核;低置信度的,补材料或者转专家。
这就是标题里说的“System 1 闸门”——快、便宜、只做有边界的判断。真正疑难杂症,交给会“慢想”的大模型,或者干脆交给人。
对客服、风控、内容审核这些行业来说,一个带概率的明确判断,往往比一段漂亮的解释更实用。
五、被放弃的生成能力,到底值多少钱?
这是最值得算的一笔账。
非自回归决策头确实快,但它牺牲的东西也很明确。
第一,它不会解释。
它只能给你选项和分数,不能写“为什么”。你要向客户解释、向监管交代,还得再请一个会说话的大模型。成本又绕回来了。
第二,它不会开放式回答。
选项之外的新情况,它只能“矬子里拔将军”,硬选一个最接近的。你问它“这段代码有什么深层风险”,它可能只能从预设的几个标签里挑一个,没法展开讲。
第三,它不会多轮创作。
写文案、写代码、总结长文、陪人头脑风暴,这些仍然是自回归模型的天下。
所以它真正扮演的角色,是把大模型的工作拆成两段:判断归判断,表达归表达。它要取代的是“什么任务都让大模型从头说到尾”的旧习惯。
行业数据也在印证这个拆分。
有报道称,Jev把端到端响应做到70到500毫秒,速度提升193.6倍、成本降低444.6倍;开源项目Laya用编码器结构把延迟压到32.8毫秒;Cloudflare的Clef干脆做成27B的“只判断不生成”模型,不过本地部署要85GB显存,门槛一点也不低。
它们都在押注同一件事:大量商业场景要的是决策,不是作文。
六、隐忧:0.27秒的自动放行,最怕“自信地判错”
乐观归乐观,冷水还是得泼几盆。
第一盆:概率不等于真相。
模型说99%,不代表现实中99%是对的。候选答案上的概率分数,可能因为量化、温度参数、业务分布变化而“虚高”。
天气预报说降雨概率70%,如果一年下来这些天真的七成下了雨,这才叫“校准得好”。模型也一样,得拿真实业务数据去验证,不能只看跑分。
第二盆:字段之间会“打架”。
并行打分默认每个字段独立判断,但业务规则经常联动。既然已经判定“已退款”,退款等级就不该是“无”;既然判定“不是安全事件”,就不该同时“通知法务”。
这些约束得靠后处理规则补,不能全指望模型自己领悟。
第三盆:选项之外的世界。
255个选项已经很多,但真实业务的长尾永远更长。新骗术、新商品类目、新工单类型,模型没见过,就只能硬塞进旧篮子。
第四盆:100%格式合法,不等于100%判断正确。
它保证的是“答案长得像标准答案”,不是“答案就是对的”。这两件事,很多宣传稿会故意混在一起。
第五盆:小模型有天花板。
1.5B模型做有界分类很香,但遇到需要读长文档、跨段推理、算复杂规则的场景,还是得请大模型出马。
所以真正的工程问题,不是“要不要换掉自回归”,而是“哪些判断可以交给快系统,哪些必须留给慢系统”。
七、未来的样子:快模型守闸门,慢模型啃硬骨头
我更愿意把未来想成一家医院。
分诊台是System 1:量体温、问症状、分科室,几秒钟搞定,绝大多数病人走这条线。
专家门诊是System 2:疑难病例、多病并发,才需要坐下来慢慢推理。
分诊台判断错了,要有机制把病人退回来,而不是一路绿灯。
对应到AI系统,就是三层:
第一层,快判断。 非自回归决策头负责路由、打标、风控、审核、信息抽取。它像机场安检机,绝大多数行李快速过一遍。
第二层,慢推理。 自回归大模型负责解释、规划、写代码、处理开放问题。它像安检员,遇到可疑行李开箱细查。
第三层,校准与回流。 用人工复核的结果,反过来校准快模型的置信度,让闸门越用越准。
这套组合拳,比“谁取代谁”更现实。
就像数据库不会因为有了缓存就取消,缓存也不会因为数据库还在就消失。它们各干各的活,只是过去我们把太多活都塞给了同一个“全能大模型”。
八、普通人怎么体验?门槛比想象低
如果你只是想看看效果,不用买显卡。
项目在Hugging Face Spaces上有在线Demo,打开网页,选一个场景,点一下“对比运行”,左边是并行决策,右边是传统逐字生成,两个秒表同时跳。
界面上会并排显示两份结果,还能高亮“少字段、编字段”的情况。对产品经理、运营、风控同学来说,这比看论文直观多了。
想本地跑,苹果M系列芯片的Mac最省事,4bit量化后内存占用约1.1GB;没有Mac也有PyTorch后端,能走CUDA或CPU。一条启动命令,就能在浏览器里打开对比页面。
它适合谁?
做客服工单分派、金融风控、内容审核、报关归类、Agent路由的团队,以及想给大模型加一道“快速安检”的开发者。
不适合谁?
想让它写文章、做长对话、当百科问答的——那是自回归模型的活儿,别难为它。
九、结语:你愿意把哪件事交给“0.27秒”?
非自回归决策头不会把自回归拍死在沙滩上。
但它确实在改写一件事:不是所有AI任务,都值得“慢慢说”。
当判断成本从1.9秒降到0.27秒,很多过去“请不起AI”的高频小决策,突然变得划算:每张工单先过一遍AI分诊,每条评论先过一遍AI审核,每笔交易先过一遍AI风控。
但越快,越需要那道理智的闸门:置信度怎么校准、什么情况必须人工签字、出了错谁来兜底。
最后留个问题:如果现在有一个0.27秒就能给出判断、还附带你“几成把握”的AI,你最愿意让它替你处理哪件事?又有哪件事,你坚决要自己拍板?