pplx-decider-v1.1-27b-4bit是什么?一文读懂255路分类决策模型:不用生成,一次前向直出校准概率
pplx-decider-v1.1-27b-4bit是什么?一文读懂255路分类决策模型:不用生成,一次前向直出校准概率
pplx-decider-v1.1-27b-4bit 是 Perplexity 的 255 路决策分类模型 pplx-decider-v1.1-27b 的 MLX 4-bit 量化版,专为 Apple Silicon(M 系列芯片)打造。它不是聊天模型:你给它一段"状态"(文本、JSON、聊天记录,甚至最多 8 张图片)和一个问题,它只需一次前向传播,就能直接输出所有候选答案的校准概率——没有逐字生成,答案一步到位。🎯
和普通大模型有什么不同?
| 生成式大模型 | pplx-decider 决策模型 | |
|---|---|---|
| 工作方式 | 一个 token 一个字往外吐 | 一次前向传播,直接输出概率分布 |
| 输出 | 自由文本 | 最多 255 个选项的校准概率 |
| 速度 | 受生成长度拖累 | 只取决于输入长度,稳定且快 |
| 典型场景 | 对话、写作 | 工单分类、意图识别、风控判断 |
普通 LLM 判断"这条消息是不是垃圾信息"时,要先想再写出一段话,最后你再从文字里解析出"是/否";而 pplx-decider 的"输出头"不是词表,而是一个 255 行的决策读出头(decision readout),直接对每个选项打分。这让它天然适合高吞吐的分类服务:客服路由、垃圾信息检测、紧急度评估……
📌 模型底座是 Qwen3.8-27B(Qwen3_5Model 架构,64 层),其中 16 层全注意力层采用非因果模式、48 层 Gated DeltaNet 保持因果,详见 config.json 中的 layer_types 与 full_attention_interval 配置。
三种问题类型:choice、score、noul
模型支持三类问题,一次调用可以问多个:
| 问题类型 | 选项格式 | 选项数 | 返回内容 |
|---|---|---|---|
choice |
{"标签": "描述", ...} |
1–255 | choice、probabilities、confidence |
score |
["最低级", ..., "最高级"] |
2–10 | score(期望等级)、probabilities、legend、confidence |
noul |
可选 {"true": "...", "false": "..."} |
2 | noul = P(true) |
以客服工单为例,你可以同时问三件事:"该由哪个团队处理?"(choice)、"客户是否生气?"(noul)、"紧急程度如何?"(score)。概率到答案的转换逻辑在 decider_mlx.py 的 answer() 函数中,confidence 都做了归一化,可直接用于阈值判断。
为什么必须用仓库里的专用推理代码?
这是新手最容易踩的坑:用 mlx_lm.load / mlx_vlm.load 加载这个 checkpoint 会得到错误的概率。原因有二(详细说明见 README.md 的 "Why it needs the included code" 一节):
- 非因果注意力:16 层全注意力层是"每个 token 都能看到整个 prompt"的,只有 padding 被屏蔽。若强行用因果掩码,答案往往还是对的,但概率明显失真(对照实验 mean KL 为 0.038,正确模式下仅 0.0014)。核心实现见 decider_mlx.py 的
_backbone()。 - 255 行决策读出头:输出头是
<a href="https://link.gitcode.com/i/8d1bd39caacc8d52a12918d6d26f42de" target="_blank">255, 5120]的分类层(存为language_model.lm_head),只读取最后一个 token 的表征,并套用保存的校准温度 1.00874(记录在 [decision_config.json 中),同时把超出本题选项数的行屏蔽掉——概率计算见 decider_mlx.py 的probs_async(),softmax 之后即得到(batch, 255)的校准概率。
好消息是:这些细节仓库全部封装好了,你只需调用 Decider 类即可。
三步在 Mac 上跑起来(本地部署最快方法)
硬件要求:Apple Silicon Mac、至少 24 GB 内存(运行约 16 GB)、Python 3.12+。
第 1 步:获取模型与代码
git clone https://gitcode.com/hf_mirrors/mlx-community/pplx-decider-v1.1-27b-4bit
cd pplx-decider-v1.1-27b-4bit
第 2 步:安装依赖(requirements.txt 仅需 mlx、mlx-vlm、transformers 等,不需要 PyTorch)
pip install -r requirements.txt
第 3 步:一行代码出结果
from decider_mlx import Decider
model = Decider.from_pretrained(".")
answers = model.decide(
"Customer message: I was charged twice for my order last week.",
{
"angry": {"type": "noul", "instructions": "Is the customer angry?"},
"urgency": {"type": "score", "instructions": "How urgent is this?",
"criteria": ["can wait", "this week", "today", "right now"]},
},
)
print(answers["angry"]["noul"], answers["urgency"]["score"])
也支持命令行快速试用(判断一条消息是否为垃圾信息):
python decider_mlx.py --model . --state "Win a FREE iPhone, click now!!!" \
--question '{"type": "noul", "instructions": "Is this spam?"}'
部署成服务:兼容 llama.cpp 的 /v1/systemone 接口
server.py 内置了一个 FastAPI 服务,加载约 10 秒:
python server.py --model . --port 8092
之后向 /v1/systemone 发 JSON 即可(格式与 llama.cpp 的 llama-server /v1/systemone 完全一致),另有 /v1/models、/health、/stats 端点,设置环境变量 DECIDER_API_KEY 可启用 bearer 鉴权。
服务端的调度设计值得一看(server.py):单个 GPU worker 线程独占 MLX,多个请求按相近长度分组动态拼批,既减少 padding 浪费,又避免长请求被短请求饿死。
精度与速度表现
精度:与官方 PyTorch bf16 实现对比(33 条覆盖 choice/score/noul、2–255 选项、100–7k tokens 含图片的测试):
| 指标 | 单条 | 批量 padding | 对照组(错误的因果模式) |
|---|---|---|---|
| argmax 一致率 | 33/33 | 33/33 | 33/33 |
| mean KL | 0.0014 | 0.0014 | 0.038 |
| 最大 Δp | 0.029 | 0.025 | 0.27 |
速度(Apple M5 Max,128 GB,High Power 模式,HTTP 持续压测):
| 负载 | 决策吞吐量 |
|---|---|
| ~100 token 决策,32 并发 | 6.5 决策/秒 |
| 100–1.8k token 混合 + 图片(均值 ~360),16 并发 | 1.8 决策/秒 |
比同机 llama.cpp Q8_0/Q4_K_M 快 1.4–1.6 倍。提速小贴士:开启高性能模式(sudo pmset -a powermode 2)、按长度分批、注意默认单次输入上限为 8192 tokens(因为全注意力层需要一次性拿到所有 key,prompt 无法切块)。
仓库文件速查
| 文件 | 作用 |
|---|---|
| decider_mlx.py | 核心推理:非因果注意力、255 路读出头、choice/score/noul 解析 |
| server.py | llama.cpp 兼容的 /v1/systemone HTTP 服务与动态批处理调度 |
| decision_config.json | 决策配置:255 个选项代码、校准温度、注意力模式、pooling 方式 |
| config.json | 模型结构:64 层混合注意力、4-bit 量化参数(affine,group 64) |
| requirements.txt | Python 依赖(mlx 0.32.3 / mlx-vlm 0.7.6 / transformers 5.19.0) |
| LICENSE、NOTICE | Apache-2.0 许可证与来源说明 |
量化细节:语言骨干 4-bit(group size 64),视觉塔与决策读出头保留 bf16,总大小约 15.3 GB;多模态能力来自 Qwen3.5 视觉塔,最多支持 8 张图片。
总结
🚀 如果你在 Mac 上需要一个本地、快速、概率可靠的 255 路分类决策模型,pplx-decider-v1.1-27b-4bit 是目前很值得尝试的方案:
- 一次前向直出校准概率,无生成开销,适合批量决策与实时服务;
- 多模态输入(文本 + JSON + 聊天 + 最多 8 图)与三种问题类型,覆盖大部分结构化判断场景;
- 4-bit 量化让 27B 级模型在 24 GB 内存的 Mac 上即可运行,且经实测与官方 bf16 实现高度一致;
- 开箱即用的 Python 库 + CLI + HTTP 服务三种使用方式。
唯一要记住的点:必须使用仓库自带的推理代码(非因果注意力 + 255 路读出头),别直接用通用加载器,否则概率会跑偏。