PurpleMIST-Mini-2.0应用场景:从客服工单路由到收据核验的6类实战案例

原创2026-11-14 09:25:531,362 阅读
文章标签:人工智能大模型多模态深度学习NLP计算机视觉模型推理服务本地部署Qwen

PurpleMIST-Mini-2.0应用场景:从客服工单路由到收据核验的6类实战案例

PurpleMIST-Mini-2.0 是一个开源的多模态决策模型(System One decision model):给它一份"状态"——客服工单、消息、日志、收据截图——再附上任意多个带选项的问题,它在一次前向推理中为每个问题返回校准后的概率分布,而不是生成一段文字。它面向客服工单路由、收据核验、紧急度分级这类高频线上判定场景,支持 19 种语言(含 8 种非洲语言)、98k token 长上下文与图片输入,单条文本请求中位延迟仅 70 ms。

💡 一句话记住它:生成式大模型"写答案",决策模型"给概率"。当业务需要稳定、可审计、低延迟的判定结果时,后者往往更实用。

先搞懂 3 种"问题类型":所有场景的积木

PurpleMIST-Mini-2.0 不做自由生成,只对你给出的选项打分。任何业务场景都能由下面 3 种基本问题类型拼出来(完整定义见 README.md):

问题类型 你给出什么 返回什么 典型用途
choice 指令 + 命名选项 选中项 + 每个选项的概率 工单路由、意图识别、分类
noul 一个"是/否"命题 "是"的概率 退款意图、总额核验
score 指令 + 有序等级描述 期望等级 + 每级概率 紧急度、严重度、评级

每个答案都带概率分布,业务侧可以自定义阈值——比如"billing 概率 > 0.8 才自动转人工组,否则进常规队列"——无需重新训练模型。

6 类实战应用场景

场景一:客服工单自动路由,一次调用完成分派

最典型的用法:客户消息一到,模型直接判定"该交给谁"。

README 的官方示例是一段约鲁语(Yorùbá)消息:"同一笔交易被扣了两次款,请退款。"一次调用同时回答两个问题(README.md):

  • team(choice):交给哪个团队——billing(支付与退款)/ delivery(在途订单)/ technical(应用或账号问题)
  • refund(noul):客户是否在要退款

为什么推荐:在 BANKING77 与 CLINC150 两个经典工单意图基准上,Mini-2.0 比更大(7.9B 参数)的 Flash-1.0 分别高出约 +14.6 与 +13.7 分(README.md)——工单意图分类正是它最强的能力之一。

场景二:紧急度分级,用 score 类型搭优先级队列

把"多紧急"定义成 4 个有序等级——can wait / normal queue / today / immediately,模型返回期望等级和各等级概率(官方示例见 README.md)。

配合概率就能做分层策略:

  • 期望等级 ≥ 3 → 立即插队处理
  • 概率分散(confidence 低)→ 转人工复核
  • 单条文本中位 70 ms,完全撑得住实时路由

📁 等级文本由你定义,legend 字段会自动把下标映射回等级描述(serve.py)。

场景三:收据核验与报销审核,准确率 0.984

传一张收据图片,同时问"总额是否等于明细之和"(noul)和"属于哪类消费"(choice)(示例见 README.md):

评估集 题量 准确率 Brier 说明
收据(img-receipts) 2,116 0.984 0.027 总额核验 + 消费分类
截图(img-screens) 1,249 0.907 0.087 界面截图理解
实拍照片(img-real) 237 0.907 0.116 真实照片

Brier 分数越低说明概率越"准",收据集只有 0.027,意味着核验结论可以放心直接进流程(数据源:eval/metrics.csv)。在公开视觉榜单上,收据/表单类 KIE 基准得分 90.0,是它视觉能力的第一梯队(README.md)。

场景四:多语言客服,非洲语言实测领先

模型在 19 种语言上完成评估与校准:英语、阿拉伯语、中文、法语、德语、印地语、印尼语、葡萄牙语、俄语、西班牙语、土耳其语,以及阿姆哈拉语、豪萨语、伊博语、尼日利亚皮钦语、索马里语、斯瓦希里语、约鲁语、祖鲁语。

  • 8 种非洲语言基准准确率 0.638(Mini-1.0 仅 0.416,Flash-1.0 为 0.668),分语种明细见 eval/metrics_african_by_lang.csv:皮钦语(pcm)最高 0.702,斯瓦希里语 0.671
  • 非洲真实场景留出集准确率 0.916
  • 问题语言可以和材料语言不同:跨语言提问留出集准确率 0.937——客服用英语提问、用户用当地语言留言,照样能判

🌍 出海做非洲或中东市场,这几乎是"开箱即用"的卖点。

场景五:长上下文工单处理,98k token 不截断

整段几百轮对话、几万行的服务日志直接喂进去:

  • 训练时状态最长 98,304 token,服务窗口可到 262,144
  • 公开评测中 140,178 条文本请求全部完整作答,无一条被截断或拒答
  • 16k–94k token 长文本留出集准确率 0.704(当前相对最弱的新技能,注意阈值要按自己数据再测)

适合"从整份会话记录里判定最终诉求 / 是否履约"这类需要全貌才能判断的任务。

场景六:截图与照片证据核验(含前后对比)

除了收据,它还能看图判断"事情是否发生":

  • 官方支持传多张图按顺序放入状态,例如维修"前/后"两张照片,问"第一张里的裂缝在第二张中是否消失"(README.md)
  • 截图与实拍照片准确率均约 0.907
  • 注意:多图"对比判断"不在训练分布内(单图训练),线上使用前建议抽样验证

📁 图片可以传路径、bytes、base64、data URL 或 PIL 对象,单图默认上限 1,024 token(purplemist_config.json)。

本地部署:3 步把决策服务跑起来

# 1. 安装依赖
pip install "transformers>=5.22" "torch>=2.12" huggingface_hub pillow
# 2. 下载模型并启动本地服务
hf download olaverse/PurpleMIST-Mini-2.0 serve.py purplemist.py --local-dir purplemist
python purplemist/serve.py --model olaverse/PurpleMIST-Mini-2.0 --port 8000
# 3. 发送判定请求
curl -s localhost:8000/v1/systemone -H 'content-type: application/json' -d '{
  "state": {"message": "I was charged twice, please refund me"},
  "questions": {
    "team":   {"type": "choice", "instructions": "Which team?", "criteria": {"billing": "payments", "tech": "app problems"}},
    "refund": {"type": "noul", "instructions": "The customer asks for money back."}}}'
  • 端点 POST /v1/systemone(别名 /v1/decisions),健康检查 GET /health,字段与 Ollama 决策 API 兼容(serve.py)
  • 主权重 model.safetensors 为 bf16 约 8.5 GB,一块 24 GB 消费级显卡即可运行
  • 返回中的 confidence 与 probabilities 可直接用于业务阈值策略

关键指标一览与选型建议

评估集 题量 准确率 一句话解读
收据图像 2,116 0.984 最强项,可直接上生产
硬程序化任务 4,683 0.949 日期、布尔逻辑、多跳查找等
跨语言问题 1,686 0.937 提问语言 ≠ 材料语言
英语零样本决策 2,000 0.724 未用其训练集,纯零样本
长上下文 16k–94k 459 0.704 目前相对短板
非洲 8 语言 15,050 0.638 分类型拆解见 eval/metrics_by_kind.csv

公开榜单(Jev Decision Index):文本公开指数 46.5,与 7.9B 的 Flash-1.0(46.7)几乎持平,而上一代 Mini-1.0 只有 13.1;视觉公开指数 63.7,在 ≤6B 参数的 24 个模型中排第 6(README.md)。

Mini-2.0 vs Flash-1.0 怎么选

  • 任务是"分类 / 判定"(工单、收据、审核)→ Mini-2.0,一半的体积、相当的分数,部署成本低一半
  • 任务偏"推理 / 常识"(如 GSM8K、HellaSwag 类)→ Flash-1.0 仍领先 20 分以上
  • ⚠️ 已知局限:多数参考答案来自 LLM 教师(分数衡量"与教师一致度"而非绝对真值);非洲语言数据为机器生成与校验,尚未经母语者审核(README.md)

常见问题 FAQ

Q1:选项可以自己改吗? 可以。choice/score 的 criteria 完全由业务定义,模型对选项内容不设限——这是它区别于传统"固定标签分类器"的核心优势,同一模型可复用到几十种判定任务。

Q2:收据核验能直接用于财务流程吗? 官方收据集准确率 0.984、Brier 0.027,概率校准良好;建议先在自己的收据样本上验证阈值,再决定"自动通过"的分界线。

Q3:延迟与吞吐如何? 单卡(RTX PRO 6000)文本中位 70 ms、图像约 215 ms/条;HTTP 服务一次只处理一个请求(单卡锁),需要更高吞吐可多实例横向扩展。

Q4:19 种语言之外的语言能用吗? 底座覆盖 201 种语言,日常可用;但 19 种之外的概率未经校准验证,务必在自己的数据上先测阈值。

关键文件路径速查

文件 说明
README.md 完整用法、评测报告与局限说明
purplemist.py 推理核心:编码、图像处理与 decide() 判定入口
serve.py HTTP 服务(System One 请求格式,兼容 Ollama 字段)
model.safetensors bf16 主权重(约 8.5 GB)
head.pt 指针头(pointer head)权重
purplemist_config.json 按问题类型 / 文图分别校准的温度参数
config.json 模型结构配置(Qwen3.5 底座 + 视觉编码器)
eval/metrics.csv 各评估集准确率、Brier、KL、ECE 总表

🚀 小结:PurpleMIST-Mini-2.0 把"大模型理解能力"压缩成"低延迟概率判定"——工单路由、紧急度分级、收据核验、多语言客服、长文本判定、图片证据核验这 6 类场景,都能用同一套 choice / noul / score 积木搭出来。如果你正在找一个比微调分类器灵活、比调用大模型便宜的在线决策方案,值得优先评估。

登录后查看全文
PurpleMIST-Mini-2.0