生成式大模型 vs 决策模型:工单分诊场景 Kev 能赢多少

原创2026-10-10 18:20:541,938 阅读
文章标签:人工智能大模型机器学习深度学习微调LoRA本地部署模型推理服务模型评测

生成式大模型 vs 决策模型:工单分诊场景 Kev 能赢多少

工单分诊是最典型的"伪对话"场景:一张投诉工单进来,系统需要的是把它路由到 returns / shipping / billing / account 四个部门之一,判断要不要今天内人工介入,再打一个紧急程度分——三个答案,一个固定且封闭的类别空间,每秒几十上百个请求。用生成式大模型来做这件事,等于让一个每 token 都要采样、每句回复都可能自由发挥的引擎去执行一道多选题。

Kev(README)给出的是另一条技术路线:不做文本生成,只在给定选项上输出一个经过校准的概率分布。它基于 Qwen3.5/Qwen3.8 底座,以 LoRA 适配器加指针头(pointer head)实现,一次 prefill 前向就回答完一批分诊问题,并随权重附带一个拟合好的温度(temperature)用于概率校准。本文以工单分诊为测试床,回答一个问题:在同一份标注数据上,生成式大模型与 Kev 这样的决策模型相比,准确率、延迟和"错判成本"各差多少——以及哪些信号出现时,你确实应该放弃通用大模型。

分诊的本质是"决策",不是"对话"

先看问题定义。分诊问题天然是三种封闭题型的组合,Kev 的 API 把这三种题型做成一个请求里的三个问题(README 的 Highlights):

  • choice:部门路由,选项就是你的固定类别体系(returns / shipping / billing / account);
  • noul:要不要升级(二选一,输出"是"的概率);
  • score:紧急程度,有序刻度(Calm → Frustrated → Very angry)。

仓库里的一个真实示例(skills/kev-finetune/assets/workload.example.json)就是一张电商售后工单的分诊规格:department、escalate、frustration 三问,加上一条关键的业务规则——"一封同时提到延迟和退款的工单,在包裹找到之前归 shipping"。

Kev 的架构与这种问题形状严格对应(kev/model.py):每个问题各自成为一条从共享 state 出发的独立分支,问题之间互相读不到;state 只计算一次并缓存。指针头(PointerHead)把每个选项的 </opt> 隐藏状态与问题的 <decide> 隐藏状态做点积打分,softmax 后就是概率。整个过程是 prefill-only——不采样、不生成 token,usage.output_tokens 数的是序列化答案的 token 数而不是生成量(kev/api.py)。这正是"决策"与"对话"的分水岭:类别空间是你枚举的,模型只负责打分,不负责造句。

同一数据集上的对比,怎么设计才公平

社区里关于"Jev / Kev / Laya 如何选型"的讨论已经形成了一个共识:选型的胜负手不在于零样本性能,而在于能否把业务规则、语言和类别体系注入模型。要验证这一点,需要一套严格的同数据对比协议。Kev 仓库把这条协议做成了工具链,而不是口头建议:

  1. 冻结数据。evals/ 下的评测套件全部冻结:manifest 记录数据集版本与每个分区的 sha256(kev/suite.py)。对你自己的工单数据,用 convert_data.py 把已有的 ticket 导出 + 人工标注转成 JSONL,一行一个请求,格式与 API 请求完全一致,只是每个问题多一个 label 字段(README)。
  2. 留出测试集。用 split_data.py 切分,真实工单永不进训练集;plan_size.py 会告诉你多少条记录才能把 +5 个点的增益测出显著性——经验值约 1000 条(三问一条)。
  3. 同一批记录、同一条评分管线。kev.benchmark 对本地检查点打分,--remote 参数则对任何 System One 兼容端点打同样的分,保证两边读的是完全相同的行;kev.compare 用按记录聚类的配对 bootstrap 给出差异置信区间(kev/compare.py)。
  4. 看三个指标,而不是只看准确率:kev/metrics.py 同时报告 accuracy(argmax 是否命中)、Brier(对整个分布打分,奖励"又对又诚实")和 coverage at 5% error——按置信度从高到低接受决策、把错误率控制在 5% 以内时,最多能自动化多少比例。最后一个指标直接回答"这台机器能替我值班多久"。

结果一:准确率没有输,延迟差了一个数量级

在同为 System One 接口的 hosted 基线对比中,Kev 在"新数据源"(模型训练时没见过的数据集与策略结构,最接近你自己的工单)上的表现如下(README 模型表、docs/model-cards/kev-4b.md):

模型 transfer-v4 新数据源准确率(dev / 冻结 test) breadth-v1 机会校正指数
Kev-4B 0.817 / 0.838 38.0
Kev-9B 0.820 / 0.852 41.0
Kev-27B 0.851 / 0.889 52.3
Jev(hosted) 0.857 / – 54.0

零样本新数据源上,27B 与 hosted 基线只差一个点内;4B/9B 差四个点内。差距真实存在,但分诊类任务(routing、entailment、分类形状的问题)正是 Kev 最接近的位置(README What to Expect)。

Kev 与 Jev 在各数据源上的准确率对比

真正的数量级差异在延迟(README Serving Performance,模型时间中位数):

  • Kev-4B:短文本 6 问,L40S 上 41.5 ms、H100 上 18.1 ms;H100 上 64 并发约 100 req/s(服务端自动批处理共享 prefill);
  • Kev-0.8B:L4 上 22.7 ms,约 62.8 req/s;
  • Kev-27B:B200 上 46.5 ms。

生成式路线回答同样三个问题,需要先把工单拼进提示词、逐 token 生成一段话再解析出标签:单个请求的模型时间以秒计,吞吐受输出长度和并发限制,且每次回复都付输出 token 的钱。对 100 万工单/天的量级,18 ms 与 1 s 之间差的不是一个系数,而是一个 GPU 集群。

准确率短板则有一个已知的补法:注入数据。仓库与 kev-finetune 记录了一个支持工单工作负载的实测——三问规格、1050 条生成记录、H100 上训练 15 分钟、成本约 $1:Kev-4B 从 67.7% 提到 73.6%,5% 错误预算下的自动化率从 34% 提到 48%;在 5219 条真实消费金融投诉上训一个 epoch,未见过投诉上的准确率从 0.804 升到 0.904(README Fine-Tune)。关键开关是 --init_from:从已发布检查点出发做 delta 微调,保住通用能力再叠加你的类别体系,而不是从底座从头训(一位用户在 836 条工单决策上的对照:从底座训得 0.33,--init_from 保留 0.83 并在新领域到 0.88)。

结果二:幻觉成本——高分错判才是最贵的

生成式模型在分诊上的问题不是"会错",而是错的时候照样给出很高的置信度。一次低置信度错误可以由阈值拦下、转人工;一次 0.95 置信度的错判是静默失败——没有人会复核它,工单直接进错部门,SLA 违约、二次转单、客诉升级、退款赔偿全都由这一次错判连锁触发。

决策模型的价值在于把这类"高置信错误"变成可测量、可压缩的指标。Kev 的实测(README Confidence、Benchmarks;docs/model-cards/kev-4b.md):

  • 新数据源上,p≥0.9 且答错的占比:Kev-9B 为 2.4%,低于 hosted 基线的 3.7%;
  • 不可知记录(把决定答案的关键证据从文本中删掉,本应拒绝作答):Kev-9B 仍有 9% 基线会以 ≥0.9 置信度作答,Kev-9B 为 0%——它在没有证据时知道没有证据;
  • Kev-4B 在 transfer-v4 锁定 test 上:准确率 0.838、ECE 0.017、高置信错误率仅 1.5%、5% 错误预算下的覆盖率 0.701。

把这些数字换算成账:假设日均 10 万张工单、阈值 0.9 放行 60%,2.4% 与 8% 的高置信错误率之间,是每天 1440 张静默错单的差别。校准之所以能做到,靠的是每个检查点自带的温度(Kev-4B 为 T=2.41,存于 head.pt,加载时自动应用,kev/model.py 的 PointerHead),以及"自动放行置信案例、其余转人工"的运行时设计——README 里那张三问工单的响应(returns 0.47 / shipping 0.28 / billing 0.25)正是这个设计的演示:代码拿概率路由,而不是拿一个脆弱字符串解析。

也要如实记下边界:单一温度无法重排置信序,所以新数据源上 5% 错误预算的可自动化比例(4B/9B/27B 为 0.52–0.69)仍低于 hosted 基线的 0.70;知识型题目由底座决定(MMLU-Pro:Kev-4B 0.565、Kev-27B 0.675 vs 0.840);日期运算是最弱项(deadline 策略 0.35/0.65/0.725 vs 0.95,KEV_DATE_FACTS=1 预处理可补救);0.8B/4B/9B 的经验验证上下文是 8,192 token,超长文档只有 27B 撑到 65,536。决策模型不是无幻觉的模型,它是把幻觉变成可阈值化概率的模型。

结论:什么场景该放弃通用大模型

把上面的证据收拢成一张决策表,工单分诊场景的答案其实很清晰:

  1. 答案空间封闭、可枚举(choice / noul / score 能表达)→ 用决策模型。类别体系是你自己的、会变的,这正是 kev-finetune 的数据注入流程存在的意义;开放式内容生成(写回复草稿、总结历史会话)仍属于生成式大模型。
  2. 高吞吐、延迟敏感 → 决策模型一次 prefill 出全部答案,可批处理、可缓存 state;生成式路线的逐 token 采样在此没有还手之力。
  3. 错误很贵、必须分层 → 要的是校准过的概率和"coverage at error"指标,而不是一段可能带幻觉标签的文本。Kev 让你在自己的标注切片上冻结阈值(kev.calibrate 的配套工具),让"自动化 48%、人工兜底 52%"成为一个可承诺的 SLA。
  4. 需要注入私有规则与语言 → 1000+ 条标注、约 $1 的 H100 训练、--init_from delta 微调,这条管线已被仓库实测验证(67.7%→73.6%)。
  5. 知识密集型开放题(客户问"政策 X 第 3 条是什么意思")→ 放弃决策模型,知识由底座决定,Kev 在 MMLU-Pro 上追不上 hosted 基线,这不该是它的战场。
  6. 数据合规、私有化 → Kev 全系 Apache-2.0,一行命令本地起服务或部署到 Modal 的 HTTPS 端点,闲置自动缩零(skills/kev-deploy),工单文本不出你的基础设施。

所以"Kev 能赢多少"的准确答案是:在延迟上赢一个数量级(41.5 ms vs 秒级),在静默错判上赢 3 个点以上且可继续压缩(2.4% vs 3.7%、不可知记录 0% vs 9%),在零样本准确率上输 4 个点以内、且能被约 $1 的微调反超。通用大模型并没有被否定——它只是被正确地降级为"开放域、低吞吐、高知识密度"任务的专用工具。分诊这类任务真正的成本不在每次推理的 token,而在每一次静默错判;谁让错判可测量,谁就值得进生产。

登录后查看全文
kev