pplx-decider-v1.1-27b-4bit是什么?一文读懂255路分类决策模型:不用生成,一次前向直出校准概率

原创2026-10-16 16:08:461,840 阅读

pplx-decider-v1.1-27b-4bit是什么?一文读懂255路分类决策模型:不用生成,一次前向直出校准概率

pplx-decider-v1.1-27b-4bit 是 Perplexity 的 255 路决策分类模型 pplx-decider-v1.1-27b 的 MLX 4-bit 量化版,专为 Apple Silicon(M 系列芯片)打造。它不是聊天模型:你给它一段"状态"(文本、JSON、聊天记录,甚至最多 8 张图片)和一个问题,它只需一次前向传播,就能直接输出所有候选答案的校准概率——没有逐字生成,答案一步到位。🎯

和普通大模型有什么不同?

生成式大模型 pplx-decider 决策模型
工作方式 一个 token 一个字往外吐 一次前向传播,直接输出概率分布
输出 自由文本 最多 255 个选项的校准概率
速度 受生成长度拖累 只取决于输入长度,稳定且快
典型场景 对话、写作 工单分类、意图识别、风控判断

普通 LLM 判断"这条消息是不是垃圾信息"时,要先想再写出一段话,最后你再从文字里解析出"是/否";而 pplx-decider 的"输出头"不是词表,而是一个 255 行的决策读出头(decision readout),直接对每个选项打分。这让它天然适合高吞吐的分类服务:客服路由、垃圾信息检测、紧急度评估……

📌 模型底座是 Qwen3.8-27B(Qwen3_5Model 架构,64 层),其中 16 层全注意力层采用非因果模式、48 层 Gated DeltaNet 保持因果,详见 config.json 中的 layer_types 与 full_attention_interval 配置。

三种问题类型:choice、score、noul

模型支持三类问题,一次调用可以问多个:

问题类型 选项格式 选项数 返回内容
choice {"标签": "描述", ...} 1–255 choice、probabilities、confidence
score ["最低级", ..., "最高级"] 2–10 score(期望等级)、probabilities、legend、confidence
noul 可选 {"true": "...", "false": "..."} 2 noul = P(true)

以客服工单为例,你可以同时问三件事:"该由哪个团队处理?"(choice)、"客户是否生气?"(noul)、"紧急程度如何?"(score)。概率到答案的转换逻辑在 decider_mlx.py 的 answer() 函数中,confidence 都做了归一化,可直接用于阈值判断。

为什么必须用仓库里的专用推理代码?

这是新手最容易踩的坑:用 mlx_lm.load / mlx_vlm.load 加载这个 checkpoint 会得到错误的概率。原因有二(详细说明见 README.md 的 "Why it needs the included code" 一节):

  1. 非因果注意力:16 层全注意力层是"每个 token 都能看到整个 prompt"的,只有 padding 被屏蔽。若强行用因果掩码,答案往往还是对的,但概率明显失真(对照实验 mean KL 为 0.038,正确模式下仅 0.0014)。核心实现见 decider_mlx.py 的 _backbone()。
  2. 255 行决策读出头:输出头是 <a href="https://link.gitcode.com/i/8d1bd39caacc8d52a12918d6d26f42de" target="_blank">255, 5120] 的分类层(存为 language_model.lm_head),只读取最后一个 token 的表征,并套用保存的校准温度 1.00874(记录在 [decision_config.json 中),同时把超出本题选项数的行屏蔽掉——概率计算见 decider_mlx.py 的 probs_async(),softmax 之后即得到 (batch, 255) 的校准概率。

好消息是:这些细节仓库全部封装好了,你只需调用 Decider 类即可。

三步在 Mac 上跑起来(本地部署最快方法)

硬件要求:Apple Silicon Mac、至少 24 GB 内存(运行约 16 GB)、Python 3.12+。

第 1 步:获取模型与代码

git clone https://gitcode.com/hf_mirrors/mlx-community/pplx-decider-v1.1-27b-4bit
cd pplx-decider-v1.1-27b-4bit

第 2 步:安装依赖(requirements.txt 仅需 mlx、mlx-vlm、transformers 等,不需要 PyTorch)

pip install -r requirements.txt

第 3 步:一行代码出结果

from decider_mlx import Decider

model = Decider.from_pretrained(".")
answers = model.decide(
    "Customer message: I was charged twice for my order last week.",
    {
        "angry":   {"type": "noul", "instructions": "Is the customer angry?"},
        "urgency": {"type": "score", "instructions": "How urgent is this?",
                   "criteria": ["can wait", "this week", "today", "right now"]},
    },
)
print(answers["angry"]["noul"], answers["urgency"]["score"])

也支持命令行快速试用(判断一条消息是否为垃圾信息):

python decider_mlx.py --model . --state "Win a FREE iPhone, click now!!!" \
  --question '{"type": "noul", "instructions": "Is this spam?"}'

部署成服务:兼容 llama.cpp 的 /v1/systemone 接口

server.py 内置了一个 FastAPI 服务,加载约 10 秒:

python server.py --model . --port 8092

之后向 /v1/systemone 发 JSON 即可(格式与 llama.cpp 的 llama-server /v1/systemone 完全一致),另有 /v1/models、/health、/stats 端点,设置环境变量 DECIDER_API_KEY 可启用 bearer 鉴权。

服务端的调度设计值得一看(server.py):单个 GPU worker 线程独占 MLX,多个请求按相近长度分组动态拼批,既减少 padding 浪费,又避免长请求被短请求饿死。

精度与速度表现

精度:与官方 PyTorch bf16 实现对比(33 条覆盖 choice/score/noul、2–255 选项、100–7k tokens 含图片的测试):

指标 单条 批量 padding 对照组(错误的因果模式)
argmax 一致率 33/33 33/33 33/33
mean KL 0.0014 0.0014 0.038
最大 Δp 0.029 0.025 0.27

速度(Apple M5 Max,128 GB,High Power 模式,HTTP 持续压测):

负载 决策吞吐量
~100 token 决策,32 并发 6.5 决策/秒
100–1.8k token 混合 + 图片(均值 ~360),16 并发 1.8 决策/秒

比同机 llama.cpp Q8_0/Q4_K_M 快 1.4–1.6 倍。提速小贴士:开启高性能模式(sudo pmset -a powermode 2)、按长度分批、注意默认单次输入上限为 8192 tokens(因为全注意力层需要一次性拿到所有 key,prompt 无法切块)。

仓库文件速查

文件 作用
decider_mlx.py 核心推理:非因果注意力、255 路读出头、choice/score/noul 解析
server.py llama.cpp 兼容的 /v1/systemone HTTP 服务与动态批处理调度
decision_config.json 决策配置:255 个选项代码、校准温度、注意力模式、pooling 方式
config.json 模型结构:64 层混合注意力、4-bit 量化参数(affine,group 64)
requirements.txt Python 依赖(mlx 0.32.3 / mlx-vlm 0.7.6 / transformers 5.19.0)
LICENSE、NOTICE Apache-2.0 许可证与来源说明

量化细节:语言骨干 4-bit(group size 64),视觉塔与决策读出头保留 bf16,总大小约 15.3 GB;多模态能力来自 Qwen3.5 视觉塔,最多支持 8 张图片。

总结

🚀 如果你在 Mac 上需要一个本地、快速、概率可靠的 255 路分类决策模型,pplx-decider-v1.1-27b-4bit 是目前很值得尝试的方案:

  • 一次前向直出校准概率,无生成开销,适合批量决策与实时服务;
  • 多模态输入(文本 + JSON + 聊天 + 最多 8 图)与三种问题类型,覆盖大部分结构化判断场景;
  • 4-bit 量化让 27B 级模型在 24 GB 内存的 Mac 上即可运行,且经实测与官方 bf16 实现高度一致;
  • 开箱即用的 Python 库 + CLI + HTTP 服务三种使用方式。

唯一要记住的点:必须使用仓库自带的推理代码(非因果注意力 + 255 路读出头),别直接用通用加载器,否则概率会跑偏。

登录后查看全文
pplx-decider-v1.1-27b-4bit