38.8 毫秒,比眨眼还快:Cloudflare 把 AI 决策做成了一道打分数学题

原创2026-10-27 23:40:502,144 阅读
文章标签:人工智能大模型多模态微调

38.8 毫秒,比眨眼还快:Cloudflare 把 AI 决策做成了一道打分数学题

你有没有遇到过这种抓狂时刻:半夜系统报警,你问 AI 助手“这单要不要转人工”,它先跟你绕三分钟,写了一大段“首先我们要冷静分析问题的本质”,最后才慢悠悠给出一个模棱两可的答案。

就在国庆假期,Cloudflare 悄悄开源了一个叫 Clef-Flash 的模型,官方给出的数字很扎眼:做一个判断,中位耗时 38.8 毫秒。

什么概念?你眨一次眼大约要 100 到 400 毫秒,够它做完两三个决定了。

这个项目在 Hacker News 上拿下 600 多分、200 多条评论,围观群众吵成一片。有人说它是“决策型 AI 的正确打开方式”,也有人撇嘴:“不就是让大模型做选择题吗?”

那它到底新在哪?今天咱们不聊代码,就用大白话把这件事讲透。

一、它不是“更会聊天”,而是“更会阅卷”

先给 Clef-Flash 一个准确的身份定位:它是一个只会做选择题的 AI,专门给业务系统当判官。

平时我们用的聊天大模型,像一个口才很好的咨询顾问,你问一句它能给你写一篇小作文。而 Clef-Flash 更像考场上的阅卷老师,你递上一份材料,它不写评语,只在答题卡上“啪啪啪”涂格子。

它只认三种题型:

是非题:这件事紧急吗?这张发票金额看得清吗?这段内容算不算违规?

选择题:该转给技术部、财务部还是销售部?

打分题:严重程度是“无影响、轻微、较大、致命”里的哪一档?

最关键的差别在输出。普通大模型会告诉你“我认为应该转给技术部”,Clef-Flash 给你的是一整排概率:技术部 92%、财务部 6%、销售部 2%。

别小看这个差别。只有“技术部”三个字,你的系统只能照单全收;有了 92%,你就可以自己定规矩:超过 90% 自动派单,60% 到 90% 转人工复核,低于 60% 直接叫人。这就是企业天天挂在嘴边的“可分级处置”。

顺带说个冷知识:Cloudflare 给它取名 Clef,是因为五线谱开头那个“谱号”就叫 clef,作用是给后面的音符定调。他们希望这个模型也能给 AI 接下来的动作“定个调”。

二、38.8 毫秒的秘密:它压根不“写字”

大模型为什么慢?你可以把它想象成玩“成语接龙”:每吐一个字,都要把前面所有字重新看一遍,再猜下一个字。写一百个字,就得算一百轮。中间要是有一个字跑偏,后面全跟着歪。

Clef-Flash 换了个思路:它不接龙,它直接交卷。

整份材料(一段文字、一段 JSON、一张发票照片、甚至一段视频)喂进去,模型主干从头到尾读一遍,然后由一个小小的“联合打分头”出手,把所有问题、所有选项一次性打完分。

官方接口里有个特别有意思的细节:它回答完一次请求,输出 token 数是 0。因为它从头到尾没“写”过一个字。

打个比方:普通大模型是让学生把解题过程一步步写在卷子上,老师再去看过程给分;Clef-Flash 是直接把答题卡印好,学生只在格子里涂卡,机器一扫就出分。省掉的正是“写过程”这段时间。

那个“小打分头”干的活也不简单,大致分三步:

第一步,让每个选项自己去材料里“找证据”,比如“逾期”这个选项会重点盯住发票状态那一行;

第二步,让所有问题互相“通气”。判“紧急”和判“转给谁”不是各管各的,而是一起商量,避免出现“判定不紧急,却转给紧急故障组”这种自相矛盾;

第三步,综合三路信号给出最终分数:词面上的直觉印象、语义上的匹配程度,再加一点修正分。

你可以理解成一个小型阅卷组:每个老师负责一道题,先各自翻材料,再开个短会统一口径,最后一起涂答题卡。整个过程只有一次,不用反复来回。

再加上它本身是个 90 亿参数的“小个子”(基于 Qwen3.5-9B 后训练),又跑在 Cloudflare 遍布全球的边缘 GPU 上,38.8 毫秒这个数字就不难理解了。

不过这里必须说句实话:38.8 毫秒是模型自己算得快,不等于你在自己机房里能感受到 38.8 毫秒。

官方给的 p95 延迟是 122.4 毫秒,意思是 100 次请求里有 95 次能在 122 毫秒内完成。但 Hacker News 上有网友实测,走公网调用时中位数到了 661 毫秒,还有人吐槽“要 3 秒”。网络、排队、批处理,这些都会吃掉时间。

所以更准确的说法是:它把“模型思考”这一段压缩到了几乎可以忽略,剩下的就看你的网络和工程功底了。

三、真正的杀手锏:让 AI “说几分,就有几分”

速度只是表面,这个模型最值得聊的,是它训练方式上的那点“执念”。

先问一个问题:一个 AI 说“我有 90% 把握”,这句话能信吗?

大多数聊天大模型是不能信的。它们天生嘴甜,什么都敢说“非常确定”,真到事后复盘,错得离谱。这在业内叫“校准”做得差。

所谓校准,用天气预报最好解释:预报说明天 70% 下雨,如果一年里有 100 天都报 70%,其中大约 70 天真的下了雨,这叫准。要是报 70% 结果天天下,或者一次不下,那就是瞎报。

Cloudflare 想做的,是一个“敢报数、报得准”的 AI。

这就引出了标题里的 RLCD,中文叫“面向校准的强化学习”。

我们都知道 RLHF,就是让人类给 AI 的回答打分,听话、礼貌、有用的多给分,模型慢慢学会讨人喜欢。这套方法训练出了今天所有会聊天的 AI,但副作用也很明显:它优化的是“人觉得好”,不是“说得对”。

RLCD 换了个考核标准,它不看你话说得漂不漂亮,只看你概率报得准不准。奖励规则大概有三条:

第一,答对相邻档位给部分分。 真实情况是“致命”,你答“较大”,虽然不完美,但方向对,给点辛苦分;你答“无影响”,那就一分没有。

第二,整张答卷全对,给大奖励。 因为现实业务里,几个判断往往是绑在一起的,单独对一道题不够。

第三,加一道“参考惩罚”。 防止模型为了刷分,把概率分布越报越偏,最后变成一个只会押宝的赌徒。

在这之上,还叠加了两种“扣分制”训练:一种叫 Brier 分数,预测的概率离真相越远扣得越狠;一种叫标签平滑,意思是别把答案当成 100% 的铁板钉钉,留一点余地,免得模型越来越盲目自信。

一句话总结这两种哲学的区别:

RLHF 训练的是“讨人喜欢”,RLCD 训练的是“说话算数”。

对于一个要替公司做审批、做分流、做风控的模型来说,后者的价值显然更大。因为只有概率可信,你才敢真的拿它去设自动化的阈值。

四、这玩意儿到底能干嘛?

说几个最接地气的场景,你大概就有画面了。

客服工单分流。 用户怒气冲冲发来一句“你们结算页一直报错,订单全卡住了”,模型一次就能给出:是否紧急(是,概率 0.97)、该转哪个部门(技术部 0.94)、影响程度(较大,0.71)。工单系统拿到这组数,直接自动派单,不用人盯着看。

发票和单据审核。 拍张照片传进去,问它“金额是否清晰可读”“是否已逾期”“该走哪个审批流”。它连图带文字一起看,省掉了 OCR 再转文字再判断的一堆中间环节。

安全事件分诊。 一条告警进来,判断是误报、需要观察,还是立刻拉人。机器先过一遍,人只看那些拿不准的。

给 AI Agent 装刹车。 现在很多智能体能自己调工具、执行命令,万一它想干点出格的事呢?在动手之前先问一句决策模型“这个操作安全吗”,几十毫秒就能拦下来。社区里已经有人拿它做命令行操作的安全闸门。

Cloudflare 自己也在用。他们的威胁情报团队拿它给网站域名分类:给一个网址,先抓取、再渲染、再判断,整个流程 2.2 秒,能一口气吐出“95% 时尚网站、85% 电商、不到 1% 钓鱼”这样一串概率。作为对比,他们手上最快的通用大模型跑同样的活要 4.7 秒,而且只能给两个分类。

网友的脑洞就更野了:有人让 Clef 去打牌类游戏 Balatro,有人搞了个“决策模型打吃豆人”的排行榜,还有人把语音转成声谱图喂给 Clef-Flash,让它看图判断说话人的情绪。

一个只会做选择题的模型,硬是被玩出了花。

五、普通人想玩,门槛高不高?

先说结论:比自己部署一个大模型低得多,但你最好别一上来就折腾本地。

它是 Apache-2.0 协议,权重公开,可以商用、可以改、可以自己部署。官方测试用的是单张 H200,bf16 精度下显存需求在 24GB 这个级别,量化之后还能再省一截。

不想买卡也没关系,路子有好几条:

Cloudflare 自家的 Workers AI 就能直接调,按 token 计费;社区新版本的 Ollama 已经接入,一条命令拉下来就能在本机试;SGLang 有现成的服务化方案;llama.cpp 上也有人跑通了。

更省心的是,它的接口和 Jev、SystemOne 完全兼容。什么意思?你原本接的是别家的决策模型,想换它,基本就是改个模型名字的事,业务代码几乎不用动。

至于成本,社区按每百万输入 token 约 9 美分估算,一次判断几百个 token,摊下来一次的成本要以“厘”为单位算。这也是为什么这类模型一出来,做客服系统、审核系统、风控系统的团队会这么兴奋——它把“每个请求都问一遍 AI”从奢侈变成了日常。

适合谁?中小企业想给客服和审核加一道自动分流;开发者想给智能体加一层安全判断;数据敏感的团队想在自己机房里跑,不把客户资料传出去。

至于普通用户,你大概率不会直接用它,但你很快会在各种 App 的“秒级响应”里,间接享受到它。

六、泼盆冷水:它不是万能药

吹到这,得踩一脚刹车。

第一,它严重偏科。在“这问题压根不在我给的选项里”这种场景下,它的得分是 66.8,而完整版 Clef 是 97.4。也就是说,遇到超纲题,它容易硬着头皮选一个,而不是告诉你“我不会”。

长文事实核查它也弱,相关评测只有 35.6,完整版是 79.4;数学题更别指望,GSM8K 只有 67.3。它天生就不是用来推理和写作的。

第二,快是有代价的。在发票处理的端到端流程里,它的准确率是 57.1,低于完整版的 64.7,也低于 Jev 的 61.8。真要做高价值、高风险的审批,还是得上大一号的模型。

第三,网友实测里有个词出现频率很高:过度升级。意思是它胆子小,拿不准就往人工那儿推。对安全场景是好事,对想省人力的团队就有点头疼。

第四,所谓“开源”也要打个引号。公开的是权重和推理代码,训练数据、完整配方并没有放出来。Hacker News 上有人专门纠正:这叫 open weights,不叫 open source。

最后,也是最容易被忽略的一点:决策模型本身不是什么石破天惊的新技术。让大模型输出结构化结果、只取最后一个位置的概率,这套玩法几年前就有人在做。Jev 的真正贡献是把它包装成了一个好用的产品接口,而 Cloudflare 的贡献,是把它做得更快、更准、还免费开放。

七、写在最后

我一直觉得,这波“决策模型”热潮真正有意思的地方,不是又出了一个多强的 AI,而是它揭示了未来 AI 系统的一种分工方式。

一个会思考的大模型,配上一群反应极快的“条件反射”。

就像一家公司,既要有能开三小时会、把战略想清楚的顾问,也要有一线主管,三秒钟决定这单接不接、这人放不放行。你不可能让顾问去处理每一张报销单,也不可能让主管去定三年规划。

38.8 毫秒的意义,不是拿来跑分的数字,而是它终于让“每个请求都问一次 AI”这件事,变得像查一次缓存那么便宜。

当然,机器判断得再快,最后拍板的还是人。它给的是概率,你给的是责任。

那么问题来了:如果现在给你一个 38 毫秒就能做判断的 AI,你最想让它帮你决定什么?是退货该不该批、评论该不该删,还是今晚到底吃火锅还是烧烤?

评论区聊聊,我挺好奇你的答案。

登录后查看全文
clef-flash