PurpleMIST-Mini-2.0完整指南:什么是System One决策模型?一次前向传播返回校准概率
PurpleMIST-Mini-2.0完整指南:什么是System One决策模型?一次前向传播返回校准概率
PurpleMIST-Mini-2.0 是一款开源的 System One 决策模型(Decision Model):给它一段状态(消息、工单、记录、截图)和任意多个"带类型的问题",它在 一次前向传播 内返回每个问题的 校准概率分布——不生成文字,只输出概率。模型基于 Qwen3.5-4B-Base,约 4.5B 参数(含视觉编码器),能同时读文本和图片,单卡文本请求中位数仅 70 ms。
1️⃣ 什么是 System One 决策模型?
普通大语言模型(LLM)是"System Two"式的:逐 token 生成文字,回答格式不稳定、速度慢、概率不可靠。而 System One 决策模型走另一条路:
| 对比维度 | 传统 LLM | PurpleMIST 决策模型 |
|---|---|---|
| 输出形式 | 逐 token 生成文字 | 直接输出各选项的概率 |
| 一次调用 | 回答 1 个问题 | 同时回答 N 个类型化问题 |
| 可靠性 | 会"编"答案 | 概率经过温度校准(calibrated) |
| 速度 | 生成越长越慢 | 一次前向传播,中位数 70 ms |
🧠 简单说:LLM 是"写作文",PurpleMIST 是"做选择题"——而且把每个选项的置信度都给你标好了。
它的架构由三部分构成(详见 README.md):
- 主干:Qwen3.5-4B-Base(32 层,24 层 Gated DeltaNet 线性注意力 + 8 层全注意力,去掉了语言模型头,换上了决策头)
- 视觉编码器:0.33B 参数,让模型能读收据、截图、照片
- Pointer 头:每个选项的 logit 由"答案位置"与"选项行"的点积得到,仅 5.3M 参数
2️⃣ 三种问题类型:choice、noul、score
PurpleMIST 支持三类"带类型的提问",这是它最核心的使用方式:
| 类型 | 你提供什么 | 它返回什么 |
|---|---|---|
choice |
指令 + 命名选项 | {"choice": 最优项, "probabilities": {选项: p}} |
noul |
一个"是/否"陈述 | {"noul": p_yes} |
score |
指令 + 有序等级描述 | {"score": 期望等级, "probabilities": {...}} |
以客服场景为例,同一条消息可以同时回答"分给哪个团队、是否退款、紧急程度"三个问题:
questions = {
"team": {"type": "choice", "instructions": "Which team should handle this?",
"criteria": {"billing": "payments, charges and refunds",
"delivery": "orders in transit",
"technical": "app or account problems"}},
"refund": {"type": "noul", "instructions": "The customer is asking for money back."},
"urgency": {"type": "score", "instructions": "How urgent is this?",
"criteria": ["can wait", "normal queue", "today", "immediately"]},
}
print(d.decide(state, questions))
核心决策逻辑集中在 Decider 类的 decide() 方法中,可参考 purplemist.py:问题若装不进上下文,会自动拆分到多次 pass;完全装不下则直接拒绝,绝不截断(truncate: false,见 purplemist_config.json)。
3️⃣ 如何安装并快速体验 PurpleMIST?
三步即可跑起来(需 CUDA 环境与 8.5 GB 显存级 GPU):
第一步,安装依赖:
pip install "transformers>=5.22" "torch>=2.12" huggingface_hub pillow
pip install flash-linear-attention causal-conv1d # 可选:线性注意力加速内核
第二步,下载模型(若本地无仓库):
hf download olaverse/PurpleMIST-Mini-2.0 --local-dir purplemist
第三步,加载并提问:
import os, sys
from huggingface_hub import hf_hub_download
repo = "olaverse/PurpleMIST-Mini-2.0"
sys.path.insert(0, os.path.dirname(hf_hub_download(repo, "purplemist.py")))
from purplemist import Decider
d = Decider.from_pretrained(repo, device="cuda")
state = {"channel": "whatsapp",
"message": "I was charged twice, please refund me"}
print(d.decide(state, questions))
💡 使用图片:image 参数接受路径、字节、base64、data URL 或 PIL 图像,也可以传列表一次给多张图:
d.decide("", q, image="receipt.jpg") # 单张收据
d.decide({"note": "before and after"}, fixed_q, image=["before.jpg", "after.jpg"])
注意:请以 bf16(bfloat16) 精度运行,这正是模型做概率校准时的精度,换精度会让校准失效。
4️⃣ 如何一行命令启动 HTTP 决策服务?
仓库自带的 serve.py 把模型包成一个小型本地服务器,接口形状兼容 System One(POST /v1/systemone,别名 /v1/decisions),另有 GET /health 与 GET /v1/models:
python serve.py --model olaverse/PurpleMIST-Mini-2.0 --port 8000
curl -s localhost:8000/v1/systemone -H 'content-type: application/json' -d '{
"state": {"message": "I was charged twice, please refund me"},
"questions": {
"team": {"type": "choice", "instructions": "Which team?",
"criteria": {"billing": "payments", "tech": "app problems"}},
"refund": {"type": "noul", "instructions": "The customer asks for money back."}}}'
常用参数:--max-len 设置单次 pass 的 token 上限(默认 98,304,可拉到主干上限 262,144);--image-max-tokens 设置每图 token 上限(默认 1,024,约 1 MP)。返回字段与 Ollama 的决策 API 完全对齐(choice、noul、score、probabilities、confidence、legend),已有客户端可以无缝切换。
5️⃣ 性能数据:为什么说它"小而准"?
在 Jev Decision Index 公开文本套件(140,178 条请求,全部作答、零截断)上:
| 指标 | Mini-2.0(4.5B) | Flash-1.0(7.9B) | Mini-1.0(1.9B) |
|---|---|---|---|
| 公开总分 | 46.5 | 46.7 | 13.1 |
| 检索与分类 | 52.3 | 47.5 | — |
| 工具与自动化 | 61.2 | 65.1 | — |
也就是说:一半的参数量,追平了 7.9B 大哥的总分,相比 1.0 版本直接提升 33 分。
视觉侧同样能打:在 Decision Index 公开视觉套件上得 63.7,位列 6B 以下 24 个模型的 第 6 名;收据/表单识别(KIE)90.0、信息图 90.2,而收据类留出集准确率高达 0.984(见 eval/metrics.csv)。
🌍 多语言是它的招牌:在 19 种语言上评估并分别校准,其中 8 种非洲语言(约鲁巴、豪萨、伊博、索马里、斯瓦希里等)表现尤其突出——在 African Typed Decisions 8 语言基准上准确率 0.638,远超 1.0 版的 0.416。分语言明细见 eval/metrics_african_by_lang.csv。甚至"问题语言 ≠ 状态语言"的跨语言提问也能达到 0.937 准确率。
⚡ 速度:单张 RTX PRO 6000 上,文本请求中位数 70 ms、平均 92 ms;视觉请求约 215 ms/行。
6️⃣ 概率为什么"可信":校准机制揭秘
"校准"(calibration)指的是:模型说 80% 把握,那它答对的频率就应该接近 80%。PurpleMIST 的做法是:
- 训练用软标签交叉熵(soft-target cross-entropy),选项顺序随机打乱
- 训练结束后,在 1,455 条训练从未见过的留出状态 上,按问题类型 + 模态(文本/图像)分别拟合温度系数
- 六组温度已固化在 purplemist_config.json 中:
| 类型 | 文本温度 | 图像温度 |
|---|---|---|
| choice | 1.074 | 0.993 |
| noul | 1.468 | 1.117 |
| score | 0.955 | 1.074 |
推理时对这些 logit 除以温度再做 softmax(purplemist.py),因此开箱即得可靠概率,无需自己再调阈值——但官方也建议:在 19 种已校准语言之外使用,请先用自己的数据验证阈值。
7️⃣ 仓库文件速览
| 文件 | 说明 |
|---|---|
| README.md | 完整文档:功能、基准、训练、局限 |
| purplemist.py | 推理核心:Decider 加载与 decide() 决策入口 |
| serve.py | 本地 HTTP 服务(System One 接口形状) |
| model.safetensors | 主干权重(bf16,8.5 GB) |
| head.pt | 5.3M 参数的 pointer 决策头权重 |
| config.json | 主干架构(Qwen3.5,32 层,262,144 上下文) |
| purplemist_config.json | 温度、max_len、图像 token 上限等决策配置 |
| processor_config.json / chat_template.jinja / tokenizer.json | 视觉处理器、模板与分词器 |
| eval/metrics.csv | 各留出评测集的准确率 / Brier / KL / ECE |
8️⃣ 局限与注意事项
- 🎓 金标准来自 LLM 教师:多数参考答案由大模型生成,分数衡量的是"与教师的一致性"而非绝对真值(程序化任务除外)
- 🌐 非洲语言数据为机器生成:由机器编写和校验,未经母语者审校
- 📷 多图对比未训练:可一次给多张图并按序放置,但模型只训练过"一图一状态",跨图比较类问题请自行验证
- ⏳ 长上下文最弱:16k–94k token 的长状态准确率约 0.704,是其相对短板
- 📏 19 种已校准语言之外的语言概率未验证,阈值请先在自有数据上测试
总结
PurpleMIST-Mini-2.0 把"读一段内容 → 同时回答多个结构化问题 → 拿到可信概率"压缩进 一次前向传播:4.5B 参数量、70 ms 中位延迟、文本+图像双模态、19 语言校准概率,配合 Decider API 和一行启动的 serve.py,是构建工单分派、收据核验、内容审核等自动化决策管道的理想选择。如果你的场景不需要自由生成文字,而是需要又快又稳的分类与判断,这套 System One 决策模型值得一试。