为什么用PurpleMIST-Mini-2.0而不是大模型做分类?决策模型与LLM的完整对比

原创2026-11-14 12:14:481,359 阅读
文章标签:人工智能大模型多模态深度学习NLP计算机视觉模型推理服务本地部署Qwen

为什么用PurpleMIST-Mini-2.0而不是大模型做分类?决策模型与LLM的完整对比

PurpleMIST-Mini-2.0 是一个 System One 决策模型(decision model):给它一条文本或图片(消息、工单、截图、收据),再给任意多个带类型的问题,它就在一次前向传播内直接返回每个答案的校准概率分布。如果你的任务是文本分类、意图识别、工单路由或收据识别,这篇文章帮你判断:什么时候该用它,而不是调用一个通用大语言模型(LLM)。

先搞清楚:决策模型和 LLM 的区别

通用 LLM PurpleMIST-Mini-2.0 决策模型
工作方式 逐 token 生成文本,再让你解析 评分打分,不生成文本
输出 一段字符串,格式可能漂移 固定结构:choice / noul / score + 概率
概率含义 解码采样温度,不是真实置信度 逐题型拟合温度,校准过的概率
典型耗时 随生成长度线性增长 中位约 70 ms/条(RTX PRO 6000 实测)

它基于 Qwen/Qwen3.5-4B-Base 主干(去掉语言模型头,保留视觉编码器,共约 4.5B 参数),文本模型 32 层,其中 24 层是 Gated DeltaNet 线性注意力,所以推理很快。整个"评分"逻辑见 purplemist.py,核心入口是 Decider.decide()。

对比一:速度——分类这种高频任务,延迟就是成本

在 Jev Decision Index 公开的 140,178 条文本请求上,Mini-2.0 单卡跑完:中位 70 ms、平均 92 ms。

  • 用 LLM 做分类,一次调用要先生成推理或答案文本,通常数百毫秒到数秒,还得承受输出格式抖动;
  • 决策模型一条请求、一次前向、直接出概率,天然适合在线路由、实时风控、逐条标注这类 QPS 高的场景。

对比二:输出是"校准的概率",可以直接当置信度用

这是与 LLM 最本质的差距。LLM 输出 0.9 并不代表它真有 90% 的把握;而 Mini-2.0 在训练后对每个问题类型单独拟合温度(文本端:choice 1.074、noul 1.468、score 0.955;图像端另有独立一组),参数直接存在 purplemist_config.json 里。

效果可以从 eval/metrics.csv 的实测指标看出来(Brier 越低、ECE 越低表示概率越准):

  • 收据图像分类:accuracy 0.984,Brier 仅 0.027
  • 跨语言问题(问题语言与内容语言不同):accuracy 0.937,Brier 0.075

这意味着你可以放心地做阈值策略:概率高于 0.9 自动通过,低于 0.6 转人工。用 LLM 的输出做同样的事,概率是"看起来像置信度",实测往往严重过自信或欠自信。

对比三:结构化问题,免去 prompt 工程与解析

Mini-2.0 支持三种问题类型(定义见 README.md):

类型 你给什么 得到什么
choice 指令 + 命名选项 最佳选项 + 每个选项的概率
noul 一个是否陈述 为是的概率 p_yes
score 指令 + 有序等级描述 期望等级 + 各等级概率

一次调用可以同时问多个问题,例如客服工单场景:

questions = {
    "team":    {"type": "choice", "instructions": "Which team should handle this?",
                "criteria": {"billing": "payments and refunds", "tech": "app problems"}},
    "refund":  {"type": "noul", "instructions": "The customer is asking for money back."},
    "urgency": {"type": "score", "instructions": "How urgent is this?",
                "criteria": ["can wait", "normal", "today", "immediately"]},
}
print(d.decide(state, questions))

对比 LLM 方案的三个隐性成本:prompt 要反复调、输出要 JSON 解析并兜底重试、每次换模型/升级版本行为都可能变。决策模型的输出 schema 是固定的,工程侧几乎零解析成本。

对比四:长文本与图片,一次全读完

  • 长上下文不截断:训练覆盖最长 98,304 token 的状态,服务端可开到 262,144 token;问题放不下时自动拆多次前向,全部 14 万条测试请求无一被截断或拒答;
  • 能读图:收据、截图、真实照片都支持,可传多张图;公开视觉榜得分 63.7,在 6B 以下模型的 24 个条目中排第 6。收据识别实测 accuracy 0.984、截图 0.907(见 eval/metrics_by_kind.csv);
  • 多语言:在 19 种语言上评测并校准,包括英语、中文、法语、阿拉伯语,以及约鲁巴语、豪萨语、斯瓦希里语等非洲语言(八种非洲语言平均 accuracy 0.636,大幅优于上一代 Mini-1.0 的 0.416,分语言数据见 eval/metrics_african_by_lang.csv)。

💡 用 LLM 做长文档分类时,"先塞进窗口再抽取"常常要自己写分片逻辑;而这里"状态放不下的问题自动拆 pass"是模型内置行为。

对比五:部署门槛——一个 8.5 GB 的 bf16 权重

权重为 8.5 GB(bf16,与校准精度一致),一张消费级/工作站级 GPU 即可部署。仓库自带本地 HTTP 服务 serve.py:

hf download olaverse/PurpleMIST-Mini-2.0 serve.py purplemist.py --local-dir purplemist
python purplemist/serve.py --model olaverse/PurpleMIST-Mini-2.0 --port 8000

之后 POST /v1/systemone 即可,响应字段与 Ollama 的 decision API 对齐(choice、noul、score、probabilities、confidence),并附带 GET /health 健康检查。

如果你本地有 clone 仓库,也可以直接看 serve.py 与 purplemist.py 的完整实现(整个推理层约 500 行 Python)。

什么时候还是该用大模型?

诚实地说,决策模型不是万能的:

  • 需要开放式答案时:决策模型只打分,不生成文本。你要"写一封回复邮件",还是得用 LLM;
  • 重度世界知识与复杂推理:在 HellaSwag、GSM8K 等知识型基准上,Mini-2.0 明显弱于更大的 Flash-1.0(7.9B),更小的模型"知识储备"有限;
  • 金标准来自 LLM 教师:训练标签大多由大模型生成,分数衡量的是"与教师一致度"而非绝对真值(程序化任务除外);
  • 超长的新领域长文本:16k–94k token 长上下文是目前最弱的新技能(accuracy 0.704)。

一个务实的组合是:LLM 负责写与推理,决策模型负责高频、结构化、需要可信概率的判定环节。

决策速查:3 条标准判断该不该用它

  1. ✅ 输出是"分类 / 是否 / 等级"而不是自由文本 → 用它;
  2. ✅ 需要可信概率做阈值或路由(自动放行 + 人工复核)→ 用它;
  3. ✅ 高频调用,延迟敏感,单卡要扛住 QPS → 用它;
  4. ❌ 需要生成内容、做开放问答或依赖海量世界知识 → 继续用 LLM。

小结

PurpleMIST-Mini-2.0 的核心价值,是把"让大模型做分类"里最不稳定的三件事——格式、概率、延迟——变成了确定性的工程输出:中位 70 ms、校准过的逐选项概率、固定 schema,外加读图和 19 语言校准。如果你的分类任务是结构化的,先花半小时跑一遍它的 eval/ 指标数据,再决定是否要为 LLM 的分类成本买单。

登录后查看全文
PurpleMIST-Mini-2.0