OpenAI前研究员的新模型火了:不聊天、只做选择题,5条复刻路线谁最靠谱?
OpenAI前研究员的新模型火了:不聊天、只做选择题,5条复刻路线谁最靠谱?
最近科技圈有个很有意思的现象:大家不再比谁家的大模型更能聊、更能写,反而开始比谁家的模型更会做选择题。
起因是 OpenAI 前研究员创办的 TypeSafe AI 推出了一个叫 Jev 的模型。它不会写诗,不会写周报,甚至连一句完整的话都懒得说,只干一件事——从你给的几个选项里挑一个,再告诉你"我有多确定"。
可就是这么个"偏科生",交出的成绩单相当吓人:端到端响应 70 到 500 毫秒,速度提升 193.6 倍,输入成本低到每百万 token 只要 0.042 美元,输出 token 干脆永久免费。
消息传开后,国内开发者立刻动手复刻。短短几天,SemIf、Simple Jev、Laya、Von、Verdict、Kev、Nimble、OpenJev 等一批开源项目陆续冒出来,硬是蹚出了五条技术路线。
今天咱们就用大白话,把这五条路线一条条拆开看看。
一、先弄明白:Jev 到底是个啥?
你可以把普通大模型想象成一个特别能说的实习生。你问他"这单能不能退",他先从平台规则讲起,再分析订单时间,最后才慢悠悠给出结论,中间还得写一大段推理过程。
Jev 完全相反,它像考场上的选择题高手:不写解题步骤,直接涂答题卡。
普通大模型回答一句话,是一个字一个字往外蹦的,每蹦一个字都要重新算一遍,说上两百字就要算两百次。而 Jev 这类模型只算一次,直接看自己心里对 A、B、C 几个选项的"倾向分数",谁高就选谁,顺便把分数换算成概率。
这个"心里的倾向分数",专业点叫 logits。你不用记这个词,理解成模型对每个选项的犹豫程度就行。
也正因为省掉了"一个字一个字往外挤"的过程,它才能快得这么离谱。
它能干什么?举几个特别接地气的例子:
- 客服系统里,一眼判断这条投诉该转给退款组、物流组还是技术组;
- 内容平台里,判断一条视频是正常、限流还是直接下架;
- AI 助手干活时,决定下一步到底是查资料、调接口还是直接回复;
- 甚至判断"这件商品买于 12 天前,店铺 30 天无理由,能不能退"。
这些活的共同点是:答案有边界、选项有限、但每天要判断几十万次。用能说会道的大模型去干,就像请教授来按电梯按钮,不是不行,是真费钱。
二、五条复刻路线,像五种做选择题的姿势
社区里这 8 个项目,看着名字五花八门,本质上就五种思路。
第一条:冻结大模型,偷看它的"犹豫"
不训练、不改模型,直接拿一个现成的大模型,看它面对 A、B、C 时内部更偏向哪个。好比不打扰学霸,只偷偷观察他笔尖在哪个选项上停留最久。
好处是省事,几乎零成本上手;坏处是模型嘴上说的和心里想的未必一致,给出的"把握程度"经常虚高,说九成其实只有六成。
第二条:专用编码器,请个专职阅卷老师
代表就是 Laya。它用的是一种叫编码器的结构,不生成任何文字,把题目通读一遍就直接给答案,实测延迟只有 32.8 毫秒,比 Jev 还快约 8 倍,而且权重全开、协议宽松。
缺点是"偏科"明显:选项少、场景固定时又快又准;一旦选项涨到七八十个(比如银行业务那种 77 类意图识别),它就开始犯迷糊。毕竟它只是个眼疾手快的阅卷老师,不是知识渊博的班主任。
第三条:校准小模型,专治"迷之自信"
这条路线追求的不是更聪明,而是说话算数。
现实里很多模型有个毛病:说"我有九成把握",实际只对了六成。校准训练就是给它做心理测试,让"七成把握"真的差不多是七成。社区里常提的 ECE、Brier 这些指标,说白了就是"天气预报准不准"——说 70% 下雨,一年下来是不是真有七成日子下了雨。
听着不炫酷,但在医疗分诊、金融风控这种场景里,一个敢承认自己没把握的模型,比一个瞎自信的模型值钱得多。
第四条:Qwen 微调,给全能生开小灶
这就是眼下最热的主线,Bespoke-Nimble-9B 走的就是这条路。
它的思路很聪明:不从头造模型,而是拿 Qwen3.5-9B 这个"底子好、中文溜、还开源"的全能生,额外挂上一小块只有一百多兆的 LoRA 补丁,专门训练它做选择题。
底座负责"读懂",补丁负责"拍板"。官方数据显示判断准确率能到 90.12%,能一口气塞进 8192 个 token 的长材料,单个字段最多支持 255 个选项——选项太多时就用 A 到 Z、再往后 AA、AB 这样的代号来答题。
它还有个很讨喜的细节:材料超长会直接拒绝,而不是偷偷截断。这一点在业务里很关键,悄悄截掉一半合同再让你判断,比报错可怕多了。
第五条:离散扩散,先撒草稿再收敛
前几条都是"从左往右"或"一次成型",扩散这条路更像先泼一盆墨,再一点点擦出形状,多个位置同时修改、反复打磨。
想象力很大,但目前最不成熟,属于"看着很美、落地还早"的那一档。
三、32.8 毫秒和 90% 准确率,到底怎么选?
很多人一看数字就上头:32.8 毫秒不是吊打一切吗?
先别急,这几个数字的尺子不一样。
32.8 毫秒是编码器单次推理的裸速度;Nimble 在本地工具里跑出来的成绩是 33 毫秒中位数、91 毫秒典型值;Jev 官方给的是 70 到 500 毫秒的端到端表现。测量口径不同,硬比容易闹笑话。
真正该看的,是你的业务怕不怕慢,还是怕不准。
高并发的工单分流、弹幕审核,一秒钟几万条,慢一点就排队,那就优先选轻快的编码器方案。
规则复杂、材料长、选项多,比如读完整份售后政策再判断,那就得靠 9B 级别的理解力,多等几十毫秒完全可以接受。
成本账也得算清楚。走 API,输入便宜到几乎可以忽略,输出还免费;自己本地部署,确实零 API 费用,但显卡和电费是实打实的开销。小团队先用 API 试水,量大且数据敏感再考虑本地,通常更划算。
四、为什么大家都开始"Qwen 化"了?
这次最有意思的行业信号,不是谁跑分第一,而是几乎所有复刻项目都在往 Qwen 上靠。
原因其实很朴素。
第一,底座现成。Qwen 系列权重开放、中文理解好、工具链成熟,开发者不用从零炼一个模型,省下的是几个月时间和几十万电费。
第二,能力够用。9B 这个体量,已经能读懂长文档、复杂规则和多层条件,正好卡在"够聪明"和"跑得动"的中间。
第三,改造成本低。适配器只有一百多兆,底座升级了,补丁稍作调整就能跟上。对企业来说,这意味着换模型不等于重做系统。
更关键的是接口统一了:不管底层换成谁,对外都是"给材料、给选项、要答案和把握程度"。这就像所有插座都统一了标准,电器随便换,墙不用砸。
难怪有社区文章直接用"正在 Qwen 化"来形容这波开源复刻的走向。
五、普通人能用上吗?门槛到底高不高?
先说清楚一件事:它不是聊天机器人。
你想让它写文案、编故事、做 PPT,它会一脸茫然。它的位置在流程里面,是那个默默亮红绿灯的角色。
所以真正先受益的,是这三类人:
- 客服和运营:几万条工单自动分流,人工只处理真正棘手的;
- 内容平台:先机器过一遍风险等级,人再复核,效率翻几倍;
- 开发者和 AI 应用团队:给智能体装一个"快速决断"的小脑,该查资料还是该直接回答,不再每次都惊动大模型。
门槛方面,官方的参考跑法确实需要一块支持 BF16 的英伟达显卡,属于"有设备才玩得转"的级别。但社区已经把它塞进了本地模型工具,一条命令就能在电脑上跑起来,零 API 成本,普通开发者也能尝鲜。
不想折腾硬件的,直接调 API 就行,按次付费,先跑通业务再谈优化。
需要提醒的是,概率不等于真理。模型说"八成能退",不代表法务上一定站得住。选项超过一两百个、规则特别绕的场景,上线前一定拿真实数据小批量对一对,别拿它当最终裁决者。
六、写在最后
Jev 这波热闹,表面看是"又一个更快的模型",往深了看,其实是 AI 的角色在变。
过去两年,我们习惯了让 AI 什么都会一点:会聊天、会画图、会写代码。可真正落到业务里,最缺的往往不是全能选手,而是那个在关键时刻敢拍板、还知道自己几斤几两的家伙。
未来你打的客服电话、刷到的内容、用的购物 App 背后,可能都藏着这样一个只做选择题的小模型。它不抢戏,但每天替你做了成千上万次决定。
最后留个有意思的问题:如果给你家里的智能设备装一个"只做选择题"的大脑,你最想让它帮你决定什么事?是先开空调还是先开窗,还是今晚到底该不该点外卖?
评论区聊聊,说不定下一个爆款应用,就藏在你这个想法里。