PurpleMIST-Mini-2.0完整指南:什么是System One决策模型?一次前向传播返回校准概率

原创2026-11-14 16:06:012,218 阅读
文章标签:人工智能大模型多模态深度学习NLP计算机视觉模型推理服务本地部署Qwen

PurpleMIST-Mini-2.0完整指南:什么是System One决策模型?一次前向传播返回校准概率

PurpleMIST-Mini-2.0 是一款开源的 System One 决策模型(Decision Model):给它一段状态(消息、工单、记录、截图)和任意多个"带类型的问题",它在 一次前向传播 内返回每个问题的 校准概率分布——不生成文字,只输出概率。模型基于 Qwen3.5-4B-Base,约 4.5B 参数(含视觉编码器),能同时读文本和图片,单卡文本请求中位数仅 70 ms。

1️⃣ 什么是 System One 决策模型?

普通大语言模型(LLM)是"System Two"式的:逐 token 生成文字,回答格式不稳定、速度慢、概率不可靠。而 System One 决策模型走另一条路:

对比维度 传统 LLM PurpleMIST 决策模型
输出形式 逐 token 生成文字 直接输出各选项的概率
一次调用 回答 1 个问题 同时回答 N 个类型化问题
可靠性 会"编"答案 概率经过温度校准(calibrated)
速度 生成越长越慢 一次前向传播,中位数 70 ms

🧠 简单说:LLM 是"写作文",PurpleMIST 是"做选择题"——而且把每个选项的置信度都给你标好了。

它的架构由三部分构成(详见 README.md):

  • 主干:Qwen3.5-4B-Base(32 层,24 层 Gated DeltaNet 线性注意力 + 8 层全注意力,去掉了语言模型头,换上了决策头)
  • 视觉编码器:0.33B 参数,让模型能读收据、截图、照片
  • Pointer 头:每个选项的 logit 由"答案位置"与"选项行"的点积得到,仅 5.3M 参数

2️⃣ 三种问题类型:choice、noul、score

PurpleMIST 支持三类"带类型的提问",这是它最核心的使用方式:

类型 你提供什么 它返回什么
choice 指令 + 命名选项 {"choice": 最优项, "probabilities": {选项: p}}
noul 一个"是/否"陈述 {"noul": p_yes}
score 指令 + 有序等级描述 {"score": 期望等级, "probabilities": {...}}

以客服场景为例,同一条消息可以同时回答"分给哪个团队、是否退款、紧急程度"三个问题:

questions = {
    "team":    {"type": "choice", "instructions": "Which team should handle this?",
                "criteria": {"billing": "payments, charges and refunds",
                            "delivery": "orders in transit",
                            "technical": "app or account problems"}},
    "refund":  {"type": "noul", "instructions": "The customer is asking for money back."},
    "urgency": {"type": "score", "instructions": "How urgent is this?",
                "criteria": ["can wait", "normal queue", "today", "immediately"]},
}
print(d.decide(state, questions))

核心决策逻辑集中在 Decider 类的 decide() 方法中,可参考 purplemist.py:问题若装不进上下文,会自动拆分到多次 pass;完全装不下则直接拒绝,绝不截断(truncate: false,见 purplemist_config.json)。

3️⃣ 如何安装并快速体验 PurpleMIST?

三步即可跑起来(需 CUDA 环境与 8.5 GB 显存级 GPU):

第一步,安装依赖:

pip install "transformers>=5.22" "torch>=2.12" huggingface_hub pillow
pip install flash-linear-attention causal-conv1d   # 可选:线性注意力加速内核

第二步,下载模型(若本地无仓库):

hf download olaverse/PurpleMIST-Mini-2.0 --local-dir purplemist

第三步,加载并提问:

import os, sys
from huggingface_hub import hf_hub_download
repo = "olaverse/PurpleMIST-Mini-2.0"
sys.path.insert(0, os.path.dirname(hf_hub_download(repo, "purplemist.py")))
from purplemist import Decider

d = Decider.from_pretrained(repo, device="cuda")
state = {"channel": "whatsapp",
         "message": "I was charged twice, please refund me"}
print(d.decide(state, questions))

💡 使用图片:image 参数接受路径、字节、base64、data URL 或 PIL 图像,也可以传列表一次给多张图:

d.decide("", q, image="receipt.jpg")          # 单张收据
d.decide({"note": "before and after"}, fixed_q, image=["before.jpg", "after.jpg"])

注意:请以 bf16(bfloat16) 精度运行,这正是模型做概率校准时的精度,换精度会让校准失效。

4️⃣ 如何一行命令启动 HTTP 决策服务?

仓库自带的 serve.py 把模型包成一个小型本地服务器,接口形状兼容 System One(POST /v1/systemone,别名 /v1/decisions),另有 GET /health 与 GET /v1/models:

python serve.py --model olaverse/PurpleMIST-Mini-2.0 --port 8000
curl -s localhost:8000/v1/systemone -H 'content-type: application/json' -d '{
  "state": {"message": "I was charged twice, please refund me"},
  "questions": {
    "team":   {"type": "choice", "instructions": "Which team?",
               "criteria": {"billing": "payments", "tech": "app problems"}},
    "refund": {"type": "noul", "instructions": "The customer asks for money back."}}}'

常用参数:--max-len 设置单次 pass 的 token 上限(默认 98,304,可拉到主干上限 262,144);--image-max-tokens 设置每图 token 上限(默认 1,024,约 1 MP)。返回字段与 Ollama 的决策 API 完全对齐(choice、noul、score、probabilities、confidence、legend),已有客户端可以无缝切换。

5️⃣ 性能数据:为什么说它"小而准"?

在 Jev Decision Index 公开文本套件(140,178 条请求,全部作答、零截断)上:

指标 Mini-2.0(4.5B) Flash-1.0(7.9B) Mini-1.0(1.9B)
公开总分 46.5 46.7 13.1
检索与分类 52.3 47.5 —
工具与自动化 61.2 65.1 —

也就是说:一半的参数量,追平了 7.9B 大哥的总分,相比 1.0 版本直接提升 33 分。

视觉侧同样能打:在 Decision Index 公开视觉套件上得 63.7,位列 6B 以下 24 个模型的 第 6 名;收据/表单识别(KIE)90.0、信息图 90.2,而收据类留出集准确率高达 0.984(见 eval/metrics.csv)。

🌍 多语言是它的招牌:在 19 种语言上评估并分别校准,其中 8 种非洲语言(约鲁巴、豪萨、伊博、索马里、斯瓦希里等)表现尤其突出——在 African Typed Decisions 8 语言基准上准确率 0.638,远超 1.0 版的 0.416。分语言明细见 eval/metrics_african_by_lang.csv。甚至"问题语言 ≠ 状态语言"的跨语言提问也能达到 0.937 准确率。

⚡ 速度:单张 RTX PRO 6000 上,文本请求中位数 70 ms、平均 92 ms;视觉请求约 215 ms/行。

6️⃣ 概率为什么"可信":校准机制揭秘

"校准"(calibration)指的是:模型说 80% 把握,那它答对的频率就应该接近 80%。PurpleMIST 的做法是:

  • 训练用软标签交叉熵(soft-target cross-entropy),选项顺序随机打乱
  • 训练结束后,在 1,455 条训练从未见过的留出状态 上,按问题类型 + 模态(文本/图像)分别拟合温度系数
  • 六组温度已固化在 purplemist_config.json 中:
类型 文本温度 图像温度
choice 1.074 0.993
noul 1.468 1.117
score 0.955 1.074

推理时对这些 logit 除以温度再做 softmax(purplemist.py),因此开箱即得可靠概率,无需自己再调阈值——但官方也建议:在 19 种已校准语言之外使用,请先用自己的数据验证阈值。

7️⃣ 仓库文件速览

文件 说明
README.md 完整文档:功能、基准、训练、局限
purplemist.py 推理核心:Decider 加载与 decide() 决策入口
serve.py 本地 HTTP 服务(System One 接口形状)
model.safetensors 主干权重(bf16,8.5 GB)
head.pt 5.3M 参数的 pointer 决策头权重
config.json 主干架构(Qwen3.5,32 层,262,144 上下文)
purplemist_config.json 温度、max_len、图像 token 上限等决策配置
processor_config.json / chat_template.jinja / tokenizer.json 视觉处理器、模板与分词器
eval/metrics.csv 各留出评测集的准确率 / Brier / KL / ECE

8️⃣ 局限与注意事项

  • 🎓 金标准来自 LLM 教师:多数参考答案由大模型生成,分数衡量的是"与教师的一致性"而非绝对真值(程序化任务除外)
  • 🌐 非洲语言数据为机器生成:由机器编写和校验,未经母语者审校
  • 📷 多图对比未训练:可一次给多张图并按序放置,但模型只训练过"一图一状态",跨图比较类问题请自行验证
  • ⏳ 长上下文最弱:16k–94k token 的长状态准确率约 0.704,是其相对短板
  • 📏 19 种已校准语言之外的语言概率未验证,阈值请先在自有数据上测试

总结

PurpleMIST-Mini-2.0 把"读一段内容 → 同时回答多个结构化问题 → 拿到可信概率"压缩进 一次前向传播:4.5B 参数量、70 ms 中位延迟、文本+图像双模态、19 语言校准概率,配合 Decider API 和一行启动的 serve.py,是构建工单分派、收据核验、内容审核等自动化决策管道的理想选择。如果你的场景不需要自由生成文字,而是需要又快又稳的分类与判断,这套 System One 决策模型值得一试。

登录后查看全文
PurpleMIST-Mini-2.0