生成式大模型 vs 决策模型:工单分诊这一仗,Kev 到底赢在哪

原创2026-10-23 18:07:201,665 阅读
文章标签:人工智能大模型机器学习深度学习微调LoRA本地部署模型推理服务模型评测

生成式大模型 vs 决策模型:工单分诊这一仗,Kev 到底赢在哪

先说一个很多人都遇到过的场景。

你在电商平台买了双鞋,等了半个月才到,尺码还错了,银行卡上又被扣了两次钱。你憋着一肚子火敲下一段投诉,点了发送。

接下来发生的事,决定了你还要等多久:这段文字会先被系统“读一遍”,判断它该进退货组、物流组还是账务组,判断要不要立刻叫人来处理,判断你现在是“有点不爽”还是“马上就要发飙”。

过去这一年,很多公司把这件事交给了通用大模型。效果嘛,能用,但用久了都发现了同一个问题:它太爱“发挥”了。

你问它“这单该给哪个部门”,它先给你写一段三百字的分析,最后来一句“综上所述,建议转交相关部门处理”。你要的是一个标签,它给你一篇小作文。更麻烦的是,它有极小概率一本正经地胡说——而工单分诊这种活儿,一次错误分诊的代价,远比省下来的那点人力贵。

最近在开发者社区被反复讨论的开源项目 Kev,走的是完全相反的一条路。

Kev 网页操作界面

一、它到底是个啥?一句话:不做作文,只涂答题卡

Kev 是一个开源的“决策模型”。它不聊天、不写文案、不总结,你给它一段文字,再给它几道“选择题”,它只干一件事:给每个选项打个分,返回概率。

你可以把它想象成考场上的阅卷老师。生成式大模型是那种能写范文的学霸,你问它一道选择题,它非要把解题过程也写出来;Kev 是只认答题卡的那种老师,A、B、C、D 各有多少把握,直接给你数字,一个字都不多写。

它支持三种最基础的问题形式,覆盖了绝大多数业务判断:

  • 是非题:这单要不要人工介入?
  • 多选题:该分给退货、物流还是账务?
  • 打分题:客户愤怒程度 0 到 2,给个分。

一次请求可以同时问六道题,而且这六道题互相“看不见”对方——这一点很关键,后面会讲。

Kev 背后是阿里的 Qwen 系列开源底座,四个档位:0.8B、4B、9B、27B,全部 Apache 2.0 协议,可以商用、可以私有化部署、可以自己拿业务数据接着训练。这也是它在社区里被叫作“平价版 Jev”的原因——Jev 是 TypeSafe 家的闭源同类产品,接口规范一样,Kev 直接把接口做成了兼容,代码几乎不用改就能换过来。

二、快得有点不讲道理:18 毫秒答完 6 道题

工单分诊是典型的“高频、短文本、要求快”的场景。一条工单进来,用户还在等页面刷新,你这边要是转了三秒圈,体验就废了。

官方公布的实测数据是这样的:

  • Kev-4B 在一张 H100 上,读完一段新文本、答完 6 道题,模型耗时 18.1 毫秒;换便宜些的 L40S 是 41.5 毫秒。
  • Kev-9B 在 H100 上是 24 毫秒。
  • 单机吞吐方面,Kev-4B 在 H100 上每秒能处理约 101 个请求(64 个并发客户端的批量测试)。

这个量级意味着什么?一家中等规模的电商,大促期间工单峰值可能也就是每秒几十条。一台机器就够了。

更直观的是成本。L40S 按每小时 1.95 美元算,满载每秒 51 个请求,摊下来一张工单的算力成本大约是十万分之一美元——处理 10 万张工单,电费级别的花费不到 1.1 美元。

而通用大模型是按 token 计费的,一张工单进去、一段分析出来,成本是另一个数量级。工单量一大,这个差距会变成财务表上一条很扎眼的线。

三、真正值钱的不是快,是“它知道自己不确定”

这是我认为 Kev 这类决策模型最值得讲的地方,也是标题里“幻觉成本”的答案。

生成式大模型的输出是“一段话”,你很难用一个数字衡量它有多心虚。它可能用非常肯定的语气说“该转物流组”,实际上完全判断错了,而你的系统对此一无所知,直接照做。

Kev 的输出是概率分布。上面那张图里,同一张“鞋子迟到、尺码错、还被扣了两次钱”的工单,它给出的结果是:退货组 91%、物流 6%、账务 4%。注意,它没有假装这是一道只有唯一正确答案的题——因为这张工单确实同时踩了三个部门的线。

于是你的系统可以定一条很朴素的规则:把握超过 90% 的自动分流,剩下的全部转人工。 这就把“AI 全自动”变成了“AI 先干八成,人兜底两成”,风险立刻可控。

几个公开数据很能说明问题:

  • 在新数据上,Kev-9B 出现“把握超过 90% 却答错”的比例是 2.4%,同类闭源产品 Jev 是 3.7%。
  • 遇到故意把关键证据删掉、根本没法回答的题目时,Kev-9B 高置信度硬答的比例是 0%,Jev 是 9%。这一条我个人觉得比准确率更值钱——业务里最怕的不是“不会”,是“不会还特别自信”。
  • 如果允许 5% 的错误率,Kev-4B、9B、27B 能自动处理 52% 到 69% 的新场景决策;最小的 0.8B 只有 14%;Jev 是 70%。

说实话,这一项 Kev 是输的。 它比 Jev 少自动几个百分点。但换个角度:Jev 是托管服务,你的数据要出门,价格按调用算,阈值也没法按自己的业务重新校准;Kev 跑在你自己机器上,便宜、可控、能改。

四、准确率到底赢多少?别信“吊打”,看细分

社区里有些文章喜欢写“开源模型全面超越闭源”,这话不实在。Kev 官方公开的对比图是这样的:

Kev 与 Jev 在不同任务上的准确率对比

在 14 个它从没训练过的公开数据集上:

  • Kev-27B 综合准确率 85.1%,Jev 是 85.7%,差距不到 1 个百分点。
  • Kev-4B 是 81.7%,Kev-9B 是 82.0%,和 Jev 差三到四个点。
  • 最小的 0.8B 是 64.8%,差距明显,但它是给“显卡只有 4G”的人准备的。

更值得注意的是任务类型上的分化,这直接决定了你该不该用它:

  • 分类、判断、规则类任务(这段话属于哪个主题、这两句是不是一个意思、这条评论是否违规):4B 和 9B 已经非常接近闭源水平,工单分诊正好落在这个区间。
  • 知识类问答:差距立刻拉开。MMLU-Pro 上 Kev-27B 是 0.675,Jev 是 0.840。这不是它擅长的活儿,别硬派。
  • 日期计算:这是所有小模型的共同软肋。政策题里判断“30 天退货期过没过”,Kev 准确率只有 0.35 到 0.725,Jev 是 0.95。官方给了个补丁:把两个日期之间差多少天直接写进文本里,9B 能从 0.80 提到 0.90。

还有两个必须提前知道的“坑”:

第一,它主要面向英文。官方明确把“非英文”列在适用范围之外,中文工单直接上,效果要打问号,得拿自己的数据再训一轮。

第二,换个选项顺序,答案可能变。这是这类模型的通病,官方也没有藏着,测试里大约 7% 的题目会因为选项重排而改变首选。所以别把阈值卡在 0.5 这种刀尖上。

五、最实用的一步:拿 1000 条自己的工单,15 分钟训一个“懂你”的

通用模型最尴尬的地方在于:它懂全世界,但不懂你们公司那套土规矩。

比如“延迟发货同时要求退款”的工单,你们公司的规定是先归物流,等包裹找到了再谈退款。这种规则,你写进提示词它记不住,写十遍它也只是“大概理解”。

Kev 的做法是直接微调。官方给了一个特别具体的例子:1050 条生成的支持工单、三道问题,在 H100 上跑 15 分钟,成本大约 1 美元:

  • 准确率从 67.7% 提到 73.6%;
  • 在 5% 错误率的前提下,能自动处理的比例从 34% 提升到 48%。

换成真实数据也一样。5219 条真实的消费者金融投诉,只训一轮,Kev-4B 在没见过的新投诉上从 0.804 提到 0.904。

不过有个前提要泼盆冷水:数据太少没用。 官方明确说,400 条记录带来的提升基本在噪声范围内,想测出效果,三道题的话大约需要 1000 条起步。这条提醒很良心,能帮不少人省下白忙活的一周。

六、普通人怎么上手?门槛比想象中低

  • 只想看看效果:官方在 Hugging Face 上放了网页版演示,浏览器打开就能试,不用装任何东西。里面预置了工单分诊、新闻分类、评论打分等例子,改改文字就能跑。
  • 有台普通电脑:最小的 0.8B 只需要约 4GB 显存,甚至纯 CPU 也能跑;Mac 用户走苹果芯片加速,M5 上 0.8B 答 5 道题约 149 毫秒,4B 是 721 毫秒。要说明的是,Mac 上是几百毫秒级,不是几十毫秒,别拿它扛高并发。
  • 想正式上线:一条命令在云上拉起一个带密钥的 HTTPS 接口,空闲时自动缩容到零,不花钱;冷启动大约 35 秒,之后就是几十毫秒的响应。用 4B 的话,一张 L40S 每小时 1.95 美元。

适合谁?客服、风控、内容审核、工单系统、内部流程自动化的团队,尤其是那些“调用量很大、每次判断很简单、但错一次很麻烦”的场景。这类活儿用通用大模型,就像雇个博士生来贴快递单——能贴,但真没必要。

七、那到底什么时候该放弃通用大模型?

我的判断是三条线,中一条就可以考虑换:

第一,你只需要一个答案,不需要一段解释。 分类、分流、打标、判断是否违规,全是这类。

第二,量大到成本开始肉疼。 一天几千次以上,通用大模型的账单会自己说话。

第三,也是最重要的——你承担不起它编。 医疗分诊、信贷审批、合规审核这类场景,一个“听起来很有道理但其实错了”的答案,赔的钱远超省下的 API 费用。而一个能输出“我只有 55% 把握”的模型,至少给了你设置人工兜底的机会。

反过来,如果活儿本身是“写一封让客户消气的回复”“总结这份合同的风险点”“回答用户关于保修政策的开放问题”,那就老老实实用生成式大模型。Kev 连一句完整的话都不会写,这是设计选择,不是缺陷。

说到底,这一仗 Kev 赢的不是“智商”,而是专注。它把“判断”这件事从“生成”里拆了出来,做得更便宜、更快、更诚实。就像计算器从来没打算取代作家,但在算账这件事上,它一直赢。

最后一个问题留给你:如果你们公司的工单系统明天就能接入这样一个模型,你敢放开几成的自动处理比例? 是三成、五成,还是必须先看着它跑一个月?

评论区聊聊,你所在行业里最“值得被自动化”、又最“不敢被自动化”的那个环节是什么。

登录后查看全文
kev