jevOS的6个真实应用场景:客服路由、内容审核与邮件分诊清单

原创2026-10-12 17:53:401,440 阅读

jevOS的6个真实应用场景:客服路由、内容审核与邮件分诊清单

jevos 是一个跑在笔记本 CPU 上的本地 LLM,专做 yes/no 决策:你送上一段文本和若干是非问题,它返回每个答案的概率,短请求约 28 ms、长请求约 130 ms,不生成任何文本。本文精选 6 个真实应用场景——客服工单路由、内容审核、邮件分诊、垃圾邮件检测、钓鱼邮件筛查、欺诈案件分诊——并附一份可直接落地的实现清单,帮你判断本地小模型能替你干哪些活。

先认识一下 jevos 🧭

jevos 的用法非常窄,但正是这份"窄"让它又快又稳:

  • 一次请求多个问题:同一段文本只读一次,多个问题共享这次阅读,追加问题的成本极低
  • 返回概率而非文本:noul 类型返回 P(yes),choice 返回最可能的选项,score 返回期望等级,你的代码根据概率做动作
  • CPU 就能跑:单二进制、无需 Python、默认只监听 127.0.0.1,文本全程不出本机

下面的 6 个场景全部来自项目 wiki 的 use cases 目录,每个都遵循同一个骨架:模型只负责"读",规则和算术全部交给代码。

jevOS 本地 LLM 决策演示:恐龙跳坑小游戏每步问两个 yes/no 问题,CPU 上单步约 136 ms

场景 1:客服工单路由(Support Ticket Routing)

思路:每个工单队列对应一个 yes/no 问题,再加一个"是否升级"问题。取 P(yes) 最高且超过阈值的队列;都过不了线就进人工通用队列。

"billing":   {"type": "noul", "instructions": "Is the ticket mainly about a charge, an invoice amount, a refund or a payment method?"},
"technical": {"type": "noul", "instructions": "Is the ticket mainly about an error, a bug or a feature not working?"}

三个关键运营设计(详见 wiki/support-ticket-routing-with-yes-no-questions.md):

  • 失败降级到人工队列:模型服务挂了、超时了,工单永远不能丢
  • 把概率存回工单:日后换阈值可直接回放历史工单,无需重跑模型
  • 升级与路由解耦:紧急的账单工单仍然是账单工单,打标记但不改路由

用你自己已解决的工单历史当测试集:几百条工单里已经记录了"最终由哪个队列处理",回放对比即可上线前验证准确率。

场景 2:内容审核(Content Moderation)

思路:社区规则改写为问题,一条规则一个问题;模型返回每条规则各自的 P(yes),代码据此"直接删除明确违规的、把不确定的送审核队列、其余放行"(完整设计见 wiki/content-moderation-with-a-local-llm.md)。

规则 问题示例 特点
辱骂 "Does the post insult or demean another person?" 误删代价高,阈值设高
卖货 "Does the post offer to sell something or ask people to buy something?" 独立成题,不与"跑题"合并
泄露隐私 "Does the post share someone's phone number, home address or email address?" 漏检伤及他人,阈值设低

要点:审核的单位是规则而不是帖子。一个笼统的"帖子是否合规"分数既无法调优,也无法告诉用户为什么被删;每条规则一个概率,用户申诉时能明确指出"是这条规则、这个概率触发的"。账号年龄、发帖频率这类数据库里的事实不要问模型,在代码里查表即可。

场景 3:邮件分诊(Email Triage)

思路:每封邮件一次请求、四个问题:需要回复吗、紧急吗、是群发/通知吗、约见吗(细节见 wiki/email-triage-with-a-local-llm.md)。

"needs_reply": {"type": "noul", "instructions": "Does the sender ask the recipient to answer, send something or decide something?"},
"urgent":      {"type": "noul", "instructions": "Does the sender say this is urgent or needed very soon?"}

两个容易踩的坑:

  • 先裁剪再送审:原始邮件大量是引用历史、签名和法律页脚。只保留发件人、主题和"新写的正文",答案又准又快
  • 问"文本说了什么"而非"该不该急":"发件人是否声称很紧急"是阅读题;真正的紧急往往取决于日期("周四前"只有周四=明天才急),日期比较放代码里做

分诊规则有个非对称原则:模型可以随意把邮件升级(标记、"今天回复"),但降级(归档、"以后再看")要过更高的门槛——因为一封被误归档的邮件可能藏着一周不被发现的请求。

场景 4:垃圾邮件检测(Spam Detection)

思路:不要问"这是不是垃圾邮件"——同一封产品公告,对陌生人是垃圾,对订阅用户是欢迎信。改问文本上可观察的信号(设计见 wiki/spam-detection-with-yes-no-questions.md):

  • 主要目的是推销吗?
  • 催促点击链接吗?
  • 冒充用户的账户服务商/银行吗?
  • 用截止时间施压吗?
  • 提到了与读者的历史往来吗?(反向加分项)

模型只输出文本信号,发件人信誉、账号年龄、订阅关系在代码里组合:信号相乘表示"必须同时成立",取最大值表示"任一成立即可"。调优顺序是精度优先——一封正常邮件被扔进垃圾箱,是用户最不能原谅的错误。

场景 5:钓鱼邮件筛查(Phishing Screening)

思路:模型负责"读懂措辞",精确检查交给代码(指南见 wiki/phishing-email-screening-with-a-local-llm.md)。

交给模型(阅读题) 交给代码(精确检查)
是否制造紧迫感 SPF / DKIM / DMARC 认证结果
是否索要密码、验证码 链接域名与显示文字是否一致
是否声称自己是银行/上级 仿冒域名的编辑距离比对
是否要求"别告诉任何人" 发件人/URL 信誉名单

表头检查能证明邮件是否真来自所声称的域名,但证明不了"一个被攻陷的真实账户,用通顺的人话催财务今天改银行账号"——后者正是 yes/no 模型最擅长读的东西。注意定位:它是网关旁边的初筛,不是安全控制本身。

场景 6:欺诈案件分诊(Fraud Case Triage)

思路:反欺诈系统里,速度核验、设备匹配等结构化信号各有主系统,模型补上的是叙事文本这一环(见 wiki/fraud-case-triage-with-a-local-llm.md):

  • 申诉描述与订单记录矛盾吗?
  • 同一个线程里说法前后不一吗?
  • 被索要照片/收据/序列号时是否拒绝提供?
  • 是否催促立即退款、或要求退到另一个账户?

红线:模型只能给队列排序和加注释,不能判定任何人欺诈。而且"积分式风控"(新账户 3 分、不匹配 2 分、超过 10 分复查)这类加总规则要留在代码里——项目自己的基准显示,这类点数累加题恰好是小模型最弱的题型(见下文基准图,Fraud points 一项 jevos-v4 只有 0.50)。

jevOS 性能基准:短请求 28ms / 长请求 130ms,显著快于云端 Jev 与 Qwen3.5-4B;6 项任务准确率对比

通用落地清单 ✅

6 个场景共享同一份清单,照做即可避开大部分坑:

  1. 阅读题给模型,规则题给代码:阈值比较、日期算术、名单查询一律代码做,规则原文写进问题里
  2. 一条问题只问一个条件:"禁止骚扰或垃圾信息"要拆成两道题
  3. 设一个 review band(人工复核带):概率处于中间地带的案例送人,模型只管它确定的部分
  4. 记录完整日志:每案的文本、问题原文、概率、当时阈值、模型指纹(/health 可取),审计与调阈值都靠它
  5. 先影子模式跑一周:模型只写建议、人照常处理,对比一致率后再放开一个队列
  6. 留一份新样本:调过问题的测试集别复用,数字会偏乐观

关于"知道自己不知道":项目还测了各系统在"记录缺失关键事实"时可答问题的区分能力,jevos-v4 在四组任务上 AUROC 达 0.81–0.95,明显领先——这正是把低置信案例转人工的底气所在:

jevOS 缺失事实检测能力:jevos-v4 区分可答与不可答问题的 AUROC 达 0.90/0.94/0.95/0.81,领先其他系统

局限性,直说 ⚠️

  • 仅英文:多语言文本需先翻译或换多语言模型
  • 未经上述领域数据集实测:意图类问题在 999 题测试集上约 0.859,但你的工单/邮件才是最终裁判,先标注几百条自己量
  • 本地≠绝对私有:拉邮件的脚本仍握有凭据,概率日志本身也派生自正文,访问控制照常要做

更多参数与命令(--threads、--port、JEV_API_KEY 等)写在 src/main.cpp 文件头注释中;批量离线决策可用 jev decide request.json 免服务器跑批。

小结

jevos 的定位一句话:把"让 LLM 做决定"降维成"让 LLM 读文本 + 代码做决定"。客服路由、内容审核、邮件分诊、垃圾邮件、钓鱼筛查、欺诈分诊这 6 个场景里,模型从不独裁——它给出概率,你的代码画阈值,review band 接住拿不准的,日志保证可回溯。文本不出本机、毫秒级响应、CPU 可跑,这三点正是它在这些工作负载上的价值所在。

登录后查看全文
jev