ollaya内置6大预设详解:快速搭建工单分诊、邮件过滤与内容审核流程
ollaya内置6大预设详解:快速搭建工单分诊、邮件过滤与内容审核流程
ollaya 是一个在本地运行开源决策模型(decision model)的开源项目,定位类似"决策模型界的 Ollama":它内置 6 大预设(preset),覆盖工单分诊(triage)、邮件过滤(email)、内容审核(guard / moderation)、请求路由(router)和 Agent 命令审查(agent)六大场景。只需一条命令,就能对任意文本输出带校准概率的结构化判断,全程毫秒级响应,数据不出本机。
什么是 ollaya 预设:一个名字换整套问题
传统大模型只能"聊天",而决策模型读取一段状态(工单、邮件、帖子或任意 JSON)加一组类型化问题(choice 选择题、score 打分题、noul 是非题),单次前向推理直接返回校准概率,从不生成文本。
所谓预设,就是一套命名好的问题集,内置实现见 crates/ollaya-api/src/presets.rs。6 个内置预设无法修改或删除,但可以保存自定义预设,CLI、API 和 MCP 服务端全部共用同一份。
ollaya run laya --preset triage "这次结账又扣了两次款,立刻退我一次的费用!"
6大预设逐个拆解
1. triage:客服工单分诊(最常用)
工单来了先分诊,是客服团队最核心的自动化场景。triage 预设对工单一次性回答 5 个问题:
| 问题 | 类型 | 判断内容 |
|---|---|---|
intent |
选择题 | 客户要什么:退款 / 技术求助 / 账单疑问 / 咨询 / 取消订阅 / 其他 |
is_urgent |
是非题 | 是否表达时间压力或截止日期 |
frustration |
打分题 | 客户情绪:平静 → 明显恼火 → 非常愤怒,共 4 档 |
refund_requested |
是非题 | 是否要求退款 |
churn_risk |
是非题 | 是否暗示要转投竞品或取消服务 |
问题定义见 crates/ollaya-api/src/presets/triage.json。示例工单"今年第三次被重复扣款了,今天不退我就取消并转投竞品"的典型输出:
intent refund ███████████████░ 0.91
is_urgent yes ███████████████░ 0.92
frustration 2.89 / 3 very angry… ██████████████░░ 0.86
refund_requested yes ████████████████ 0.99
churn_risk yes ████████████████ 0.99
拿到概率后就能自动派单:churn_risk 高的工单直接升级给资深客服,intent = refund 的转财务组。
2. email:邮件过滤与自动分流
email 预设把收件箱变成一个智能分流器,5 个问题对应邮件过滤的完整链路(crates/ollaya-api/src/presets/email.json):
category(路由):该邮件应由哪个团队处理——billing(账单)、technical(技术)、sales(销售)、security(安全)、hr 或 otheris_spam(过滤):是否垃圾邮件或群发营销is_phishing(安全):是否钓鱼、诈骗或企图窃取资金、凭据urgency(优先级):无时间压力 / 尽快处理 / 阻塞性问题或硬性截止,3 档needs_reply(响应):发件人是否期待回复
一条规则即可搭出"邮件过滤流水线":is_phishing = true → 隔离并告警;is_spam = true → 直接归档;否则按 category 自动转发给对应团队,再按 urgency 排序。
3. guard:AI 提示词安全筛查
如果你的产品有 AI 助手,guard 预设是入口层的内容审核守门员,专门审"用户发给 AI 的提示词"(crates/ollaya-api/src/presets/guard.json):
jailbreak:是否试图让 AI 无视规则和系统指令prompt_injection:是否夹带了指向 AI 系统本身的指令(提示词注入)sensitive_data:是否携带凭据、个人数据等敏感信息harm_severity:若照做会造成的伤害程度,4 档(无 → 轻微 → 严重 → 危险或违法)topic:主题分类——产品支持 / 编程 / 通识 / 个人建议 / 安全测试 / 其他
在提示词进入大模型之前加一道 guard 判断,命中 prompt_injection 或高 harm_severity 即可拦截,成本只有几毫秒。
4. moderation:社区内容审核
moderation 预设面向 UGC 场景的内容审核(crates/ollaya-api/src/presets/moderation.json),判断帖子 post 的 5 个维度:
| 问题 | 说明 |
|---|---|
toxic |
是否有毒性:粗鲁、不尊重、劝退他人 |
harassment |
是否针对或骚扰特定个人 |
threat |
是否有暴力、伤害或恐吓威胁 |
spam |
是否垃圾广告 |
severity |
违规严重度 4 档:无违规 → 轻微 → 明确违规(辱骂/骚扰/定向垃圾信息)→ 严重(威胁、仇恨言论) |
severity 直接对应处置动作:mild 忽略、clear violation 折叠或警告、severe 删除并通知人工复核。
5. router:请求智能路由
router 预设不审核内容,而是给请求"画像",帮你在多个模型或处理路径间做调度(crates/ollaya-api/src/presets/router.json):
difficulty:难度 4 档——trivial(一步查询)→ hard(多步长推理或专业知识)domain:领域分类——code / math_or_logic / writing / factual_lookup / data_analysis / chitchatneeds_tools:回答是否需要外部工具、搜索或私有数据is_sensitive:是否涉及金钱、法律、医疗或安全后果
典型用法:difficulty = trivial 的请求发给最快最便宜的模型,hard 且 is_sensitive = true 的请求才动用旗舰模型并走人工抽检。
6. agent:AI Agent 命令风险审查
这是 ollaya 自家设计的预设:审查 AI Agent 即将执行的一条命令 command(crates/ollaya-api/src/presets/agent.json):
action:应该怎么做——run(直接执行)/ ask(先问用户)/ block(禁止执行)on_task:该命令是否服务于用户请求requestrisk:潜在损失 3 档——无害 → 可能丢失本地工作 → 可能破坏共享数据或生产环境destructive:是否删除或覆盖难以恢复的工作
配合 ollaya mcp(MCP 服务),Claude Code、Cursor 等 Agent 客户端在每次执行高危操作前都可以先问一次,单次决策约 10 ms,几乎零开销。详见 site/docs/agents.md。
快速上手:3 种方式调用内置预设
方式一:CLI 一条命令
ollaya run winnow:e4b --preset triage "Your app crashed during checkout and I was charged twice. Please refund one of the charges."
ollaya run 会自动拉起本地服务、首次使用自动拉取模型;不带状态时可直接管道输入文件,如 cat ticket.txt | ollaya run laya --preset triage。命令参考见 site/docs/cli.md。
方式二:HTTP API
curl http://localhost:11435/api/decide -d '{
"model": "winnow:e4b",
"state": "I was charged twice this month.",
"preset": "triage"
}'
API 中 preset 参数与 questions 互斥,完整接口见 docs/api.md。
方式三:MCP 接入 Agent 生态
ollaya mcp 通过 stdio 或 HTTP 暴露模型,内置预设还能以资源 URI ollaya://presets/<name> 直接取回问题定义,让 Agent 自行组合调用。
没有 NVIDIA 显卡?选模型有讲究
- 有 NVIDIA GPU:首选
winnow:e4b,类型化决策准确率 0.722(接近 TypeSafe 商业模型的 0.738),RTX 4090 上 5 个问题仅 89 ms - 纯 CPU:从
laya开始,它是个语言路由器——自动把英文请求发给laya:en、其他 100+ 语言发给laya:multilingual,CPU 上也能毫秒级响应
若未显式指定问题,无内置问题的模型默认回退到 triage 预设(且会打印提示)。所有实测数据(准确率、校准、速度、一致性)均可查证:
进阶:保存你自己的自定义预设
内置预设只读的,但可以按业务需要另存自己的。用 ollaya preset create 保存(同名即覆盖):
ollaya preset create billing-check --questions billing.json --description "Billing, and how upset the customer is"
ollaya run winnow:e4b --preset billing-check "I was charged twice this month."
- 命名规则:1–64 位小写字母、数字、
-、_,且以字母或数字开头(规则见 crates/ollaya-api/src/presets.rs) - 存储位置:随模型存放在
$OLLAYA_MODELS/presets/<name>.json,同一台服务器上 CLI、API、MCP 三个客户端看到同一份 - 管理命令:
ollaya preset list / show / create / rm,API 对应/api/presets系列端点
注意自定义预设与 Modelfile 中 QUESTIONS 的区别:预设不绑定任何模型、不复制内容,而 Modelfile 会把问题烤进模型本身。
常见问题
预设和直接传 questions 有什么区别?
预设是"按名字引用"的问题集,适合固化的流水线场景;questions 参数则每次自由传 JSON。二者只能二选一,同时给会报 value_error。
内置预设能改吗?
不能。内置预设不可修改、不可删除、名字不可被自定义预设复用(删除返回 403,重名创建返回 422)。想调整就基于它复制一份再 create。
延迟真的只要毫秒级吗?
决策模型单次前向推理即出结果,laya:en 在 RTX 4090 上 5 个问题约 8–10 ms,winnow:e4b 约 89 ms;CPU 场景 laya 同样是亚秒级。
总结
| 预设 | 一句话定位 | 典型落地 |
|---|---|---|
triage |
工单分诊 | 客服工单自动派单、升级 |
email |
邮件过滤 | 反钓鱼、按团队自动分流 |
guard |
提示词筛查 | AI 产品入口安全审核 |
moderation |
内容审核 | UGC 社区违规处置分级 |
router |
请求路由 | 多模型/多路径智能调度 |
agent |
Agent 命令审查 | AI Agent 高危操作拦截 |
ollaya 让"本地、私有、毫秒级"的结构化判断变成一行命令的事。从工单分诊到内容审核,先用上面的 6 个内置预设跑通业务,再用自定义预设逐步细化——完整上手流程见 site/docs/quickstart.md。



