为什么用PurpleMIST-Mini-2.0而不是大模型做分类?决策模型与LLM的完整对比
为什么用PurpleMIST-Mini-2.0而不是大模型做分类?决策模型与LLM的完整对比
PurpleMIST-Mini-2.0 是一个 System One 决策模型(decision model):给它一条文本或图片(消息、工单、截图、收据),再给任意多个带类型的问题,它就在一次前向传播内直接返回每个答案的校准概率分布。如果你的任务是文本分类、意图识别、工单路由或收据识别,这篇文章帮你判断:什么时候该用它,而不是调用一个通用大语言模型(LLM)。
先搞清楚:决策模型和 LLM 的区别
| 通用 LLM | PurpleMIST-Mini-2.0 决策模型 | |
|---|---|---|
| 工作方式 | 逐 token 生成文本,再让你解析 | 评分打分,不生成文本 |
| 输出 | 一段字符串,格式可能漂移 | 固定结构:choice / noul / score + 概率 |
| 概率含义 | 解码采样温度,不是真实置信度 | 逐题型拟合温度,校准过的概率 |
| 典型耗时 | 随生成长度线性增长 | 中位约 70 ms/条(RTX PRO 6000 实测) |
它基于 Qwen/Qwen3.5-4B-Base 主干(去掉语言模型头,保留视觉编码器,共约 4.5B 参数),文本模型 32 层,其中 24 层是 Gated DeltaNet 线性注意力,所以推理很快。整个"评分"逻辑见 purplemist.py,核心入口是 Decider.decide()。
对比一:速度——分类这种高频任务,延迟就是成本
在 Jev Decision Index 公开的 140,178 条文本请求上,Mini-2.0 单卡跑完:中位 70 ms、平均 92 ms。
- 用 LLM 做分类,一次调用要先生成推理或答案文本,通常数百毫秒到数秒,还得承受输出格式抖动;
- 决策模型一条请求、一次前向、直接出概率,天然适合在线路由、实时风控、逐条标注这类 QPS 高的场景。
对比二:输出是"校准的概率",可以直接当置信度用
这是与 LLM 最本质的差距。LLM 输出 0.9 并不代表它真有 90% 的把握;而 Mini-2.0 在训练后对每个问题类型单独拟合温度(文本端:choice 1.074、noul 1.468、score 0.955;图像端另有独立一组),参数直接存在 purplemist_config.json 里。
效果可以从 eval/metrics.csv 的实测指标看出来(Brier 越低、ECE 越低表示概率越准):
- 收据图像分类:accuracy 0.984,Brier 仅 0.027
- 跨语言问题(问题语言与内容语言不同):accuracy 0.937,Brier 0.075
这意味着你可以放心地做阈值策略:概率高于 0.9 自动通过,低于 0.6 转人工。用 LLM 的输出做同样的事,概率是"看起来像置信度",实测往往严重过自信或欠自信。
对比三:结构化问题,免去 prompt 工程与解析
Mini-2.0 支持三种问题类型(定义见 README.md):
| 类型 | 你给什么 | 得到什么 |
|---|---|---|
choice |
指令 + 命名选项 | 最佳选项 + 每个选项的概率 |
noul |
一个是否陈述 | 为是的概率 p_yes |
score |
指令 + 有序等级描述 | 期望等级 + 各等级概率 |
一次调用可以同时问多个问题,例如客服工单场景:
questions = {
"team": {"type": "choice", "instructions": "Which team should handle this?",
"criteria": {"billing": "payments and refunds", "tech": "app problems"}},
"refund": {"type": "noul", "instructions": "The customer is asking for money back."},
"urgency": {"type": "score", "instructions": "How urgent is this?",
"criteria": ["can wait", "normal", "today", "immediately"]},
}
print(d.decide(state, questions))
对比 LLM 方案的三个隐性成本:prompt 要反复调、输出要 JSON 解析并兜底重试、每次换模型/升级版本行为都可能变。决策模型的输出 schema 是固定的,工程侧几乎零解析成本。
对比四:长文本与图片,一次全读完
- 长上下文不截断:训练覆盖最长 98,304 token 的状态,服务端可开到 262,144 token;问题放不下时自动拆多次前向,全部 14 万条测试请求无一被截断或拒答;
- 能读图:收据、截图、真实照片都支持,可传多张图;公开视觉榜得分 63.7,在 6B 以下模型的 24 个条目中排第 6。收据识别实测 accuracy 0.984、截图 0.907(见 eval/metrics_by_kind.csv);
- 多语言:在 19 种语言上评测并校准,包括英语、中文、法语、阿拉伯语,以及约鲁巴语、豪萨语、斯瓦希里语等非洲语言(八种非洲语言平均 accuracy 0.636,大幅优于上一代 Mini-1.0 的 0.416,分语言数据见 eval/metrics_african_by_lang.csv)。
💡 用 LLM 做长文档分类时,"先塞进窗口再抽取"常常要自己写分片逻辑;而这里"状态放不下的问题自动拆 pass"是模型内置行为。
对比五:部署门槛——一个 8.5 GB 的 bf16 权重
权重为 8.5 GB(bf16,与校准精度一致),一张消费级/工作站级 GPU 即可部署。仓库自带本地 HTTP 服务 serve.py:
hf download olaverse/PurpleMIST-Mini-2.0 serve.py purplemist.py --local-dir purplemist
python purplemist/serve.py --model olaverse/PurpleMIST-Mini-2.0 --port 8000
之后 POST /v1/systemone 即可,响应字段与 Ollama 的 decision API 对齐(choice、noul、score、probabilities、confidence),并附带 GET /health 健康检查。
如果你本地有 clone 仓库,也可以直接看 serve.py 与 purplemist.py 的完整实现(整个推理层约 500 行 Python)。
什么时候还是该用大模型?
诚实地说,决策模型不是万能的:
- 需要开放式答案时:决策模型只打分,不生成文本。你要"写一封回复邮件",还是得用 LLM;
- 重度世界知识与复杂推理:在 HellaSwag、GSM8K 等知识型基准上,Mini-2.0 明显弱于更大的 Flash-1.0(7.9B),更小的模型"知识储备"有限;
- 金标准来自 LLM 教师:训练标签大多由大模型生成,分数衡量的是"与教师一致度"而非绝对真值(程序化任务除外);
- 超长的新领域长文本:16k–94k token 长上下文是目前最弱的新技能(accuracy 0.704)。
一个务实的组合是:LLM 负责写与推理,决策模型负责高频、结构化、需要可信概率的判定环节。
决策速查:3 条标准判断该不该用它
- ✅ 输出是"分类 / 是否 / 等级"而不是自由文本 → 用它;
- ✅ 需要可信概率做阈值或路由(自动放行 + 人工复核)→ 用它;
- ✅ 高频调用,延迟敏感,单卡要扛住 QPS → 用它;
- ❌ 需要生成内容、做开放问答或依赖海量世界知识 → 继续用 LLM。
小结
PurpleMIST-Mini-2.0 的核心价值,是把"让大模型做分类"里最不稳定的三件事——格式、概率、延迟——变成了确定性的工程输出:中位 70 ms、校准过的逐选项概率、固定 schema,外加读图和 19 语言校准。如果你的分类任务是结构化的,先花半小时跑一遍它的 eval/ 指标数据,再决定是否要为 LLM 的分类成本买单。