AI不写作文了,改行当“裁判”:0.07秒做一次判断,这个小模型拿下开源第一后,下一波主线要换人?

原创2026-10-23 10:08:161,992 阅读

AI不写作文了,改行当“裁判”:0.07秒做一次判断,这个小模型拿下开源第一后,下一波主线要换人?

最近AI圈有个挺有意思的变化:大家不再比谁更会聊天、谁的文章写得更长,而是开始比——谁判断得更快、更准、更便宜。

9月15日,一家叫 TypeSafe 的公司发布 Jev,主打“不生成文字、只做判断”,一下子把这个新品类推到台前。紧接着9月24日,上海的基元律动(TokenRhythm)甩出了开源的 NeoHorse-Jev-4B,只有40亿参数,却在本轮六组评测里拿下 77.70 的综合分,成为成绩完整的开源参评模型里的第一名。

问题就来了:Jev 开源第一之后,决策模型会不会成为下一波开源主线?

一、先说人话:决策模型到底是个啥?

你可以把现在的大模型想象成一个特别能说的顾问。你问它“这单投诉该给谁处理”,它先理解、再思考、再组织语言,最后洋洋洒洒写一段分析,你还得从里面抠出结论。

而决策模型更像公司前台那位干了二十年的老师傅。你把情况一说,他眼皮都不抬:“退款的事,找账单组,概率九成六。”

就这么一句,没有客套,没有解释,但它能直接被执行。

NeoHorse-Jev-4B 把这种“老师傅直觉”做成了三个固定动作:

  • Choice(选哪个):从你给的候选里挑一个,比如“这条消息该进哪个队列、该调哪个工具”;
  • Noul(是不是):回答一个是非题,比如“这段话是不是在要求退款”,直接给你一个概率;
  • Score(打几分):在你定好的等级里打分,比如“这事有多急”,从“可以等”到“今天必须办”。

关键在它的“思考方式”:普通大模型是一个字一个字往外蹦,蹦几十个字才蹦到答案;它是只读题、不写答案,看完直接在你给的选项上给概率。用行话说叫“只做前向计算”,用大白话说就是——它不写作文,只交选择题答题卡。

所以它压根不能陪你聊天。你让它写文案、写代码、写方案,它一件都干不了。它的岗位只有一个:站在流水线上当那个“咔嚓”一下盖章的人。

二、它到底有多快?快到什么程度?

官方公布的一组实测数字挺能说明问题:

在1158条真实文本请求的混合负载里,32个并发同时压上来,服务端平均一次决策只要 74.3毫秒,也就是不到0.1秒;把并发拉到256,每秒能处理 347个请求,那一档的6948次请求全部成功。

什么概念?你眨一次眼大概300毫秒,它已经做完四次判断了。

更关键的是成本逻辑变了。过去我们在系统里塞一个“如果……就……”的规则,是因为判断太便宜;只有当模型判断便宜到接近“不要钱”,大家才会愿意把那些写死的规则,换成会看语境的判断。这就是决策模型真正的生意:不是更聪明,而是便宜到可以到处用。

三、最能打动人的,是它“玩游戏”的那几段演示

光说参数没感觉,基元律动放出的几个演示,才是真的让人“哦”一声。

贪吃蛇:连续走了 3000步、吃掉89个目标、蛇身长到95节,一直活到回合结束。玩过的都知道,蛇越长越难,后面每一步都在刀尖上跳舞。

俄罗斯方块:落子190次,一口气消掉 59行,拿了6500分。它要在“每个落点×每个朝向”的组合里,瞬间比出哪个最不堵死自己。

Flappy Bird:单局穿过 28根管道,六个回合平均27.67根。

麻将:在简化的108张牌规则里,一路推到“自摸胡牌”。

炸弹人式对抗:三个AI模型加一个规则机器人同场混战,它活到最后。

自动驾驶仿真:152次决策,开到终点,0碰撞、0违规。

机械臂:84次决策,把仿真保险柜的门打开了,屏幕亮起“SUCCESS”。有意思的是,这个模型并没有专门拿机械臂数据训练过,它靠的是同一套“看状态—比选项—给概率—动一下”的接口。

这些演示的意义不在于“AI会打游戏”,而在于同一套接口,换个场景就能直接用。今天判工单,明天判页面截图,后天判方向盘往哪打——对它来说都是同一件事。

四、落到干活上,它能帮你省什么?

普通读者可能会问:这玩意儿跟我有啥关系?其实它藏在你每天用的服务背后。

举个最常见的例子。用户发来一句:“同一笔订单扣了两次钱,请今天把多扣的退给我。”

系统把这句话丢给模型,一次性问三个问题:

  • 这是在要求退款吗?——概率 0.97;
  • 该哪个组处理?——账单组 0.96、技术组 0.03、其他 0.01;
  • 有多急?——接近“今天就要办”。

于是系统自己就把单子分好了、优先级标好了,全程不到0.1秒,还顺手告诉你“我有多确定”。确定度高的自动放行,确定度低的转人工,这才是这套东西最实用的地方。

同样能用的地方还有:内容审核先粗筛一遍、AI助手决定该调哪个工具、搜索结果排个相关度、客服情绪分级、风控打分。它的定位不是“替代大模型”,而是站在大模型前面当闸门——能在这儿拦住的,就不用惊动后面那个又贵又慢的大脑。

评测上,NeoHorse-Jev-4B 在六组文本决策评测里综合 77.70,比9B的 Open-Jev-9B 高2.03分;在 Nimble、VitaminC、MASSIVE 三项上平均 83.26%,比自己底座 NeoHorse-1-4B 的71.76%足足高了11.5个百分点。当然要说明白:它不是每一项都第一,JevBench 和部分静态文本任务上,9B的对手仍然更强,它赢的是“综合均衡”。

五、为什么说这可能是下一波开源主线?

把发布节奏捋一遍,你会发现这家公司下棋很有章法。

9月7日到8日,先放 NeoHorse-1,4B和9B两个版本,主打“Agent原生”,干的是工具调用、写代码、听指令这些活。4B版本十项评测均分从底座 Qwen3.5-4B 的58.94拉到 64.87,9B版本从65.60拉到 69.04。

9月24日,在4B的基础上再改一版,切出 NeoHorse-Jev-4B,专门做结构化决策。前后不到三周,一条“通用能干活的模型 → 专门的判断模型”的路径就摆出来了。

背后的人也不简单。基元律动创始人王云鹤,此前是华为诺亚方舟实验室主任、盘古大模型负责人;这一系列还是和无问芯穹、清华、北大、阿里等机构一起做的。团队之前就开源过一套叫 OpenSquilla 的“路由调度”系统,用来决定一个任务该派给哪个模型——现在他们把这套调度经验,直接喂进了模型训练里。

为什么开源在这个赛道特别有戏?

因为决策模型的使用场景,几乎全在企业内网:工单、风控、审核、调度。这些数据,没几家公司敢往外传。加上 Apache-2.0 协议、4B 的体积、完整的推理代码和调用示例,等于把“判断力”变成了一套可以搬进自己机房的基础设施。

而且它换标签特别方便。工具列表、队列名称、审核等级,都是写在请求里的,换业务不用重新训练模型。这对天天改流程的公司来说,简直太对胃口。

六、但也别急着封神,它的短板很明确

聊优点容易上头,还是得把冷水泼上。

第一,它会错,而且错得很自信。 结构合法、概率加起来等于1,不代表判断就是对的。候选选项换个说法、换个顺序,答案都可能漂移;往选项里塞一个八竿子打不着的干扰项,原本的排序也会被搅乱。

第二,它不会思考。 只有一次“直觉”,没有中间推理过程。遇到话里有话、多层伪装的场景,它就吃力了。社区里有测试显示,在钓鱼邮件识别上,能一步步推理的大模型明显更稳。

第三,算术和时序是它的软肋。 别指望它算账、算日期、做多步推导。

第四,概率准不准,得自己验。 官方目前没有公开完整的校准指标,你在业务里设“0.9以上自动放行”这种阈值,必须拿自己的数据重新测,不能照抄别人的。

第五,开源和闭源之间还有差距。 Jev 本身是闭源托管服务,社区拿普通小模型“裸读概率”去复现,一致性实测大概七成多,跟宣传的数字有距离。这说明“照猫画虎”容易,真正难的是把概率校准这件事做扎实,而这部分恰恰是最不显眼、也最值钱的功夫。

七、普通人能玩吗?门槛到底多高?

说实话,这东西不是给普通用户准备的,它没有网页版可以点开就聊。

它更像给开发者和企业IT团队用的“零件”:模型权重、推理程序、调用示例都是齐的,支持主流的几种部署方式,也能起一个本地服务,让其他系统按标准接口来调。4B的体量不算大,量化之后一张普通的独立显卡就能跑起来,官方完整包(含决策头)大概9GB出头,需要支持BF16的显卡环境。

所以适合上手的其实是三类人:

  • 做企业内部系统的团队:工单分流、审核初筛、权限判断,先拿它当“闸门”试水;
  • 做AI应用的开发者:让它在Agent里决定“下一步调哪个工具”,把贵的生成模型留给真正需要写内容的环节;
  • 技术发烧友:想亲手感受一下“0.1秒出结论”是什么手感。

不太适合的也很清楚:想找个AI帮自己写文章、写周报、做客服回复的,请继续用聊天大模型,别为难它。

八、结语:主线不会换人,但会多出一条新赛道

回到标题那个问题。

我的判断是:决策模型不会取代对话模型成为唯一主线,但它很可能会成为开源世界里的第二条主干道。

原因很简单。Agent 越普及,系统里“该不该做、交给谁、做到什么程度”这类窄判断就越多,而且是成百万次地发生。让一个几百亿参数的大模型,每次都完整地“想一遍、说一遍”,再让人去解析它的JSON,这本身就是巨大的浪费。算力错配,才是这个新品类真正的机会。

开源在这里的优势也很实在:数据不出门、版本能锁死、成本能算清、标签能随时换。只要“概率校准”和“评测标准”这两块短板补上,它会像当年的向量数据库一样,从“新鲜概念”变成“架构标配”。

当然,也别指望它一夜之间改变你的生活。它不会写诗,不会讲笑话,也不会陪你聊人生。它只会安安静静地待在某个服务器里,一秒做几百次判断,然后让整个系统看起来“怎么突然变聪明了”。

最后留个轻松的问题给大家:如果AI的判断便宜到像自来水一样,你最先希望它替你决定什么? 是每天中午吃什么,还是那条纠结了半个月的消息到底发不发?评论区聊聊。

登录后查看全文
NeoHorse-1-4B