不写一个字,64.5毫秒做完一次判断:开源小模型把Jev复刻到毫秒级,AI接电话终于不卡了

原创2026-10-24 13:43:021,626 阅读

不写一个字,64.5毫秒做完一次判断:开源小模型把Jev复刻到毫秒级,AI接电话终于不卡了

一个陌生电话打进来,AI 秘书替你接起。

对方刚说完三句话,屏幕角落跳出一个数字:诈骗概率 0.96。AI 没等对方继续演,直接挂断,顺手给你留了一条记录。

从接通到拍板,用时 0.0645 秒。

这不是科幻片桥段,而是最近在开发者圈子里被反复讨论的一件事:一个叫 JevLite 的开源项目,用 Qwen3-4B 复刻了 Jev 的“秒判断”能力,把一次决策压到了 64.5 毫秒。

更有意思的是,它背后那场“复刻竞赛”,已经从拼准确率,悄悄卷到了拼毫秒。

一、它到底是个啥?一句话:给 AI 装了个“只拍板、不啰嗦”的开关

平时我们用的 AI,像一个知识渊博但话特别多的顾问。

你问它“这通电话是不是诈骗”,它会先复述背景,再分析话术,再列一二三点,最后写一段结论。等它写完,骗子可能都聊到“安全账户”了。

Jev 代表的这一类模型,思路完全反过来:不让它说话,只让它在给定选项里“指一个”。

你给它一道题、两个选项 A 和 B,它只回你一个概率。就像考场上的判断题,不许写小作文,只在答题卡上涂一个格子。

Jev 由 TypeSafe AI 推出,创始人 Diogo Almeida 曾在 OpenAI 参与 RLHF(人类反馈强化学习)相关工作。它主打的概念叫“System One”,翻成大白话就是快思考。

跟 GPT 那类会“想很久再回答”的慢思考模型分工明确:

  • 慢的负责写方案、做复杂推理、查漏补缺;
  • 快的负责门口保安、红绿灯、电话筛查这类“必须马上给结果”的活。

官方给 Jev 的口径也很直接:端到端 70 到 500 毫秒,比常规大模型调用快约 193.6 倍,输入成本低到每百万 token 0.042 美元,输出 token 不收钱。

对普通人来说,这些数字翻译过来就是:以前请一个“专家”逐字写结论,现在请一个“老师傅”看一眼就点头或摇头,速度快几十倍,价钱便宜到可以忽略。

二、64.5 毫秒,到底是怎么抠出来的?

JevLite 来自 Scam.ai 团队的一篇论文,做的事很具体:电话诈骗筛查。

底座是 Qwen3-4B,加了一层 LoRA 轻量微调。你可以把 LoRA 理解成“给现成模型贴一副专业眼镜”,不用把整个模型推倒重练,成本低很多。

它做了三个关键动作。

第一,只读 A、B 两个答案标签的分数,不生成任何文字。

传统做法是让模型写一段 JSON,比如“是不是诈骗:是”,然后再用程序去解析。写得慢不说,还可能写错格式、漏字段。

JevLite 不写。它只看模型对“A”和“B”这两个字母的倾向,直接算出一个概率。输出天然只有一个答案,格式永远合法。

第二,训练目标不只要“猜对”,还要“敢为自己的把握负责”。

它用的是交叉熵加 Brier 分数的联合损失。通俗讲:答对了加分;明明心里没底却拍胸脯说“我 99% 确定”,要扣分。

这解决了一个很要命的问题——很多 AI 嘴上的“置信度”是编的,说 95% 其实只有 60% 准。在诈骗拦截这种场景里,过度自信意味着误挂用户的银行、医院、快递电话。

第三,用验证集做温度校准,把“虚高的自信”拧回来。

让模型说 90% 的时候,现实中真的差不多有九成是对的。这个动作不炫技,但特别实用,因为下游系统要拿这个概率设阈值:超过多少就挂断、低于多少转人工。

效果如何?论文给了一组挺硬的数据:

  • 41 个训练时没见过的通话场景,577 次“每轮说完就判断一次”;
  • 三组随机种子集成后,AUROC 达到 97.4%,校准误差 5.2%;
  • 12 个合法来电场景,零误报;
  • 在同样的“连续两轮高置信就挂断”规则下,比云端大模型裁判平均早 1.14 轮做决定;
  • 一张 RTX 3090、单条请求:中位数 64.5 毫秒,95% 的情况在 110.5 毫秒内;
  • 同一个底座如果改成“生成 JSON 再解析”,要 317 毫秒,慢了 4.9 倍;
  • 对比云端大模型裁判的接口耗时 1946 毫秒,约 30 倍差距——当然这里面掺了网络排队和“思考过程”的生成时间。

还有个细节挺能说明工程功力:同一通电话继续追问新问题,因为前面的通话内容已经缓存过,每多加一个问题只多花 21.8 毫秒。问五个问题共 168.7 毫秒,而每个问题都从头读一遍要 321.6 毫秒。

但这篇论文最圈粉的地方,是它自己“拆台”。

作者老老实实写了:提升主要来自微调、读出方式和校准,不是准确率碾压;同样数据下,一个微调过的 ModernBERT 编码器并不显著更差,而且只要 29.7 毫秒;配方选择时看过测试集,存在“赢家诅咒”,单个模型只是勉强压线;灰色电话(难判断的)表现很差,灰色/合法只有 38.1%;选项顺序一换,2.6% 的判断会翻转;换个问法,5.2% 会翻转;所有来电还都是合成的。

这段“自曝”反而让人信服。它说明这不是“AI 成神了”,而是一个具体环节被认真做扎实了。

三、复刻竞赛:三条路线,已经卷到毫秒

Jev 火了之后,开源社区迅速分成几路人马,各自用不同办法复刻同一种能力。

技术路线 代表方案 决策延迟 特点
冻结大模型,直接读选项分数 SemIf、openjev-sglang 取决于底座大小 不用训练、上手快,但吃大模型算力
小模型微调后读答案标签 JevLite、Nimble、Clef 64.5 毫秒起 可现场用自然语言加问题,需要训练
专用编码器做分类 Laya(ModernBERT-large) 32.8 毫秒 最快、最省显存,但只能答训练过的问题

几条有意思的对照:

  • Laya 走编码器路线,实测 32.8 毫秒,比 Jev 快约 8 倍,权重全开、协议宽松,适合 25 类以内的意图路由和安全护栏;但遇到 77 类这种高基数分类就吃力。
  • Nimble 基于 Qwen3.5-9B 微调,判断准确率报到 90.12%,属于“稳一点、慢一点”的选择。
  • Clef 是 Cloudflare 开源的 27B 大块头,走“冻结骨干 + 决策头”的路子,2.2 秒出结果,本地部署要 85GB 显存——它证明了另一件事:大而准和小而快,是两条不同的生意。

一句话总结这场竞赛的取舍:

编码器像专用收费站,车过得飞快,但只收一种车;decoder 读出像万能窗口,能临时加问题,代价是每个问题多二十来毫秒。

而对应用层来说,真正的分水岭不是“再快 30 毫秒”,而是:你能不能在通话还没结束时就做出判断,并且这个判断的概率敢拿去设自动挂断的阈值。

四、普通人怎么上手?Mac 上就有个能跑的开源版本

论文离普通人有点远,但这类能力已经有能直接落地的开源实现。

比如这次项目仓库里的 Qwen-2.5-1B-RLCD,走的是同一条“快判断”思路,只是把重点放在了结构化信息抽取和决策分流上。

它用 Qwen2.5-1.5B-Instruct 的 4bit 量化版本,内存占用大约 1.1GB,苹果 M1 到 M4 的 Mac 都能跑;Linux、Docker、云端 GPU 也提供了另一套后端,不至于被硬件绑死。

它最核心的巧思叫“并行约束解码”,说人话就是:

传统做法是让 AI 一个字一个字往外蹦 JSON,字段越多,等待越久;它反过来,先把整段材料读一遍,然后把“风险等级、是否要人工复核、该转给哪个部门”这些字段同时打分,一次出结果,再程序化拼成合法 JSON。

在 M4 Max 上的实测:

  • 4 个字段的金融风控路由:420 毫秒降到 75 毫秒,快 5.6 倍;
  • 4 个字段的代码安全审计:380 毫秒降到 68 毫秒;
  • 255 选 1 的报关编码分类:500 毫秒降到 89 毫秒;
  • 28 个字段的工单分诊:1900 毫秒降到 270 毫秒,快 7 倍;
  • 原来要跑 312 次前向,现在 1 次搞定;
  • JSON 合法率 100%,不用语法解析器、不用失败重试;
  • 每个字段都带置信度,还能看到前几名候选各占多少概率。

它还自带一个网页界面,左右两栏同时跑“并行判断”和“普通生成”,上方毫秒计时器实时跳,哪边快一眼就看出来。普通生成如果漏了字段或者凭空编了字段,会被标红提醒。

这种“有图有真相、有计时器有对比”的设计,对非专业读者特别友好——不用懂原理,看数字就行。

适合谁?想在自己笔记本上玩结构化抽取的开发者、做客服工单和风控原型的产品经理、需要给学生做演示的老师。

不适合谁?想直接拿它当聊天机器人的人。它的定位很明确:不是陪你聊天,是帮你做判断题。

五、毫秒级竞争,对应用层到底意味着什么?

第一,实时语音场景真正成立了。

以前是等整通电话结束再分析,现在可以每一轮对话结束就判断一次。诈骗电话往往前三句就露馅,早一轮挂断,就少一次被洗脑的机会。

第二,Agent 编排有了“红绿灯”。

让快模型先分流:这事我 95% 有把握,直接办;拿不准的,再交给大模型慢慢想。省下的是真金白银的 token 和时间。

第三,高基数分类不再头疼。

255 个报关编码、成百上千个商品类目、几十种工单类型,都能一次打分完成,而不是让模型逐字写出类目名再核对。

第四,成本结构变了。

以前贵在“生成”,现在贵在“读一遍材料 + 一次打分”。对高频业务来说,这是数量级的差别。

第五,可靠性可被工程化。

输出空间被限定在候选集合里,格式不会崩;置信度可以当阈值用;拿不准就转人工,而不是硬着头皮瞎猜。

六、结语:从“谁会写”到“谁会拍板”

过去两年,我们比的是谁家模型更会写:写文章、写代码、写方案。

现在风向开始变了——比谁家模型更会拍板,而且拍得又快又诚实。

JevLite 的 64.5 毫秒不是终点,Laya 已经做到 32.8 毫秒;明天可能还有更快的。但真正的价值不在那几十毫秒,而在于它让 AI 学会了一件事:

没把握的时候,敢说“我不确定”,然后把决定交给人。

这比“什么都敢答”要难得多,也可贵得多。

最后留个轻松点的问题:如果 AI 秘书能在三句话内判断对方是骗子,你愿意让它直接挂断吗?

误挂一个重要电话的代价,和漏接一个诈骗电话的代价,你觉得哪个更该被容忍?评论区聊聊。

登录后查看全文
Qwen-2.5-1B-RLCD