jevOS的6个真实应用场景:客服路由、内容审核与邮件分诊清单
jevOS的6个真实应用场景:客服路由、内容审核与邮件分诊清单
jevos 是一个跑在笔记本 CPU 上的本地 LLM,专做 yes/no 决策:你送上一段文本和若干是非问题,它返回每个答案的概率,短请求约 28 ms、长请求约 130 ms,不生成任何文本。本文精选 6 个真实应用场景——客服工单路由、内容审核、邮件分诊、垃圾邮件检测、钓鱼邮件筛查、欺诈案件分诊——并附一份可直接落地的实现清单,帮你判断本地小模型能替你干哪些活。
先认识一下 jevos 🧭
jevos 的用法非常窄,但正是这份"窄"让它又快又稳:
- 一次请求多个问题:同一段文本只读一次,多个问题共享这次阅读,追加问题的成本极低
- 返回概率而非文本:
noul类型返回 P(yes),choice返回最可能的选项,score返回期望等级,你的代码根据概率做动作 - CPU 就能跑:单二进制、无需 Python、默认只监听
127.0.0.1,文本全程不出本机
下面的 6 个场景全部来自项目 wiki 的 use cases 目录,每个都遵循同一个骨架:模型只负责"读",规则和算术全部交给代码。
场景 1:客服工单路由(Support Ticket Routing)
思路:每个工单队列对应一个 yes/no 问题,再加一个"是否升级"问题。取 P(yes) 最高且超过阈值的队列;都过不了线就进人工通用队列。
"billing": {"type": "noul", "instructions": "Is the ticket mainly about a charge, an invoice amount, a refund or a payment method?"},
"technical": {"type": "noul", "instructions": "Is the ticket mainly about an error, a bug or a feature not working?"}
三个关键运营设计(详见 wiki/support-ticket-routing-with-yes-no-questions.md):
- 失败降级到人工队列:模型服务挂了、超时了,工单永远不能丢
- 把概率存回工单:日后换阈值可直接回放历史工单,无需重跑模型
- 升级与路由解耦:紧急的账单工单仍然是账单工单,打标记但不改路由
用你自己已解决的工单历史当测试集:几百条工单里已经记录了"最终由哪个队列处理",回放对比即可上线前验证准确率。
场景 2:内容审核(Content Moderation)
思路:社区规则改写为问题,一条规则一个问题;模型返回每条规则各自的 P(yes),代码据此"直接删除明确违规的、把不确定的送审核队列、其余放行"(完整设计见 wiki/content-moderation-with-a-local-llm.md)。
| 规则 | 问题示例 | 特点 |
|---|---|---|
| 辱骂 | "Does the post insult or demean another person?" | 误删代价高,阈值设高 |
| 卖货 | "Does the post offer to sell something or ask people to buy something?" | 独立成题,不与"跑题"合并 |
| 泄露隐私 | "Does the post share someone's phone number, home address or email address?" | 漏检伤及他人,阈值设低 |
要点:审核的单位是规则而不是帖子。一个笼统的"帖子是否合规"分数既无法调优,也无法告诉用户为什么被删;每条规则一个概率,用户申诉时能明确指出"是这条规则、这个概率触发的"。账号年龄、发帖频率这类数据库里的事实不要问模型,在代码里查表即可。
场景 3:邮件分诊(Email Triage)
思路:每封邮件一次请求、四个问题:需要回复吗、紧急吗、是群发/通知吗、约见吗(细节见 wiki/email-triage-with-a-local-llm.md)。
"needs_reply": {"type": "noul", "instructions": "Does the sender ask the recipient to answer, send something or decide something?"},
"urgent": {"type": "noul", "instructions": "Does the sender say this is urgent or needed very soon?"}
两个容易踩的坑:
- 先裁剪再送审:原始邮件大量是引用历史、签名和法律页脚。只保留发件人、主题和"新写的正文",答案又准又快
- 问"文本说了什么"而非"该不该急":"发件人是否声称很紧急"是阅读题;真正的紧急往往取决于日期("周四前"只有周四=明天才急),日期比较放代码里做
分诊规则有个非对称原则:模型可以随意把邮件升级(标记、"今天回复"),但降级(归档、"以后再看")要过更高的门槛——因为一封被误归档的邮件可能藏着一周不被发现的请求。
场景 4:垃圾邮件检测(Spam Detection)
思路:不要问"这是不是垃圾邮件"——同一封产品公告,对陌生人是垃圾,对订阅用户是欢迎信。改问文本上可观察的信号(设计见 wiki/spam-detection-with-yes-no-questions.md):
- 主要目的是推销吗?
- 催促点击链接吗?
- 冒充用户的账户服务商/银行吗?
- 用截止时间施压吗?
- 提到了与读者的历史往来吗?(反向加分项)
模型只输出文本信号,发件人信誉、账号年龄、订阅关系在代码里组合:信号相乘表示"必须同时成立",取最大值表示"任一成立即可"。调优顺序是精度优先——一封正常邮件被扔进垃圾箱,是用户最不能原谅的错误。
场景 5:钓鱼邮件筛查(Phishing Screening)
思路:模型负责"读懂措辞",精确检查交给代码(指南见 wiki/phishing-email-screening-with-a-local-llm.md)。
| 交给模型(阅读题) | 交给代码(精确检查) |
|---|---|
| 是否制造紧迫感 | SPF / DKIM / DMARC 认证结果 |
| 是否索要密码、验证码 | 链接域名与显示文字是否一致 |
| 是否声称自己是银行/上级 | 仿冒域名的编辑距离比对 |
| 是否要求"别告诉任何人" | 发件人/URL 信誉名单 |
表头检查能证明邮件是否真来自所声称的域名,但证明不了"一个被攻陷的真实账户,用通顺的人话催财务今天改银行账号"——后者正是 yes/no 模型最擅长读的东西。注意定位:它是网关旁边的初筛,不是安全控制本身。
场景 6:欺诈案件分诊(Fraud Case Triage)
思路:反欺诈系统里,速度核验、设备匹配等结构化信号各有主系统,模型补上的是叙事文本这一环(见 wiki/fraud-case-triage-with-a-local-llm.md):
- 申诉描述与订单记录矛盾吗?
- 同一个线程里说法前后不一吗?
- 被索要照片/收据/序列号时是否拒绝提供?
- 是否催促立即退款、或要求退到另一个账户?
红线:模型只能给队列排序和加注释,不能判定任何人欺诈。而且"积分式风控"(新账户 3 分、不匹配 2 分、超过 10 分复查)这类加总规则要留在代码里——项目自己的基准显示,这类点数累加题恰好是小模型最弱的题型(见下文基准图,Fraud points 一项 jevos-v4 只有 0.50)。
通用落地清单 ✅
6 个场景共享同一份清单,照做即可避开大部分坑:
- 阅读题给模型,规则题给代码:阈值比较、日期算术、名单查询一律代码做,规则原文写进问题里
- 一条问题只问一个条件:"禁止骚扰或垃圾信息"要拆成两道题
- 设一个 review band(人工复核带):概率处于中间地带的案例送人,模型只管它确定的部分
- 记录完整日志:每案的文本、问题原文、概率、当时阈值、模型指纹(
/health可取),审计与调阈值都靠它 - 先影子模式跑一周:模型只写建议、人照常处理,对比一致率后再放开一个队列
- 留一份新样本:调过问题的测试集别复用,数字会偏乐观
关于"知道自己不知道":项目还测了各系统在"记录缺失关键事实"时可答问题的区分能力,jevos-v4 在四组任务上 AUROC 达 0.81–0.95,明显领先——这正是把低置信案例转人工的底气所在:
局限性,直说 ⚠️
- 仅英文:多语言文本需先翻译或换多语言模型
- 未经上述领域数据集实测:意图类问题在 999 题测试集上约 0.859,但你的工单/邮件才是最终裁判,先标注几百条自己量
- 本地≠绝对私有:拉邮件的脚本仍握有凭据,概率日志本身也派生自正文,访问控制照常要做
更多参数与命令(--threads、--port、JEV_API_KEY 等)写在 src/main.cpp 文件头注释中;批量离线决策可用 jev decide request.json 免服务器跑批。
小结
jevos 的定位一句话:把"让 LLM 做决定"降维成"让 LLM 读文本 + 代码做决定"。客服路由、内容审核、邮件分诊、垃圾邮件、钓鱼筛查、欺诈分诊这 6 个场景里,模型从不独裁——它给出概率,你的代码画阈值,review band 接住拿不准的,日志保证可回溯。文本不出本机、毫秒级响应、CPU 可跑,这三点正是它在这些工作负载上的价值所在。


