Matilda-Decision-v1是什么?27B多模态决策模型完整解析:不生成文本,一次调用返回全部答案与概率
Matilda-Decision-v1是什么?27B多模态决策模型完整解析:不生成文本,一次调用返回全部答案与概率
Matilda-Decision-v1 是 Maincode 开源的 27B 参数多模态决策模型:它不生成文本,你给它一段文字、JSON 或图片,再附上一组问题,一次 system_one 调用即可拿到所有问题的答案,且每个答案都附带完整的概率分布。本文面向新手,完整解析它的三种问题类型、双向注意力架构与快速上手方法。
初识 Matilda Decision v1:它和文本大模型有何不同
大多数大语言模型(LLM)的工作方式是"一个字一个字地生成文本"。而 Matilda Decision v1 走的是另一条路:它是一个只做决策、不生成文本的模型,可以理解为"System 1(直觉式快速判断)"模型 🧠
| 核心规格 | 说明 |
|---|---|
| 参数量 | 26.1B(含视觉编码器),基于 Qwen3.8-27B 视觉语言底座 |
| 输入 | 文本或 JSON + 任意多张图片(每张最大 1.6MP) |
| 问题类型 | choice 多选(最多 255 个选项)· noul 是/否 · score 打分 |
| 输出 | 一次调用返回全部问题的答案 + 每个选项的概率 |
| 上下文 | 131,072 token,从不截断,超长直接报错 |
| 许可证 | Apache-2.0(LICENSE) |
它的设计目标是把"判断"这件事做得又快又可靠:客服工单该转给哪个团队?这张收据上有没有写这台机器器?这张图的紧急程度打几分?——问完即答,答案还带着概率。
与常见 LLM 的 3 个关键区别
1️⃣ 不生成文本,直接输出概率
模型内部有一个 255 选项的"决策读出"层(readout.safetensors),答案从预定义的 255 个"答案码"(A、B、C……AA、AB……JT,定义见 decision_config.json)中读出,每个选项都有概率,而不是靠生成文字再解析。
2️⃣ 一次调用,回答所有问题
system_one(state, questions, images) 接收一段共享的"状态"(state)和一组问题。所有问题看到同样的文本与图片,每个问题只需一次前向传播,最终打包返回 {"model", "answers", "usage"},见 matilda_decision_runtime.py。
3️⃣ 答案自带置信度
choice:给出选中项、每个选项的概率和confidencescore:给出期望分值、各档位概率与confidencenoul:直接给出"是"的概率 P(true) ✅
支持的问题类型:choice、noul、score 三种问法
所有问题都围绕同一个 state 提问,按类型提供 criteria(选项定义):
| 类型 | type |
criteria 写法 |
返回内容 |
|---|---|---|---|
| 多选 | choice |
{选项名: 描述或 None},1–255 个 |
choice + 每选项 probabilities + confidence |
| 是/否 | noul |
可选 {"true": ..., "false": ...} |
noul:yes/true 的概率 |
| 打分 | score |
档位描述列表(从低到高) | 期望 score + probabilities + legend + confidence |
💡 一个典型场景(来自官方示例):订单损坏、客户有收据、今天就要换货——同时问"该转给哪个团队(choice)""客户有收据吗(noul)""紧急程度打几分(score)",一次调用全部返回。概率如何从原始 logits 换算成答案,见 答案构造逻辑。
架构解析:双向注意力 + 255 选项决策读出
这是理解本模型最关键的部分 ⚙️
- 底座:Qwen3.8-27B 视觉语言模型,文本部分共 64 层(
hidden_size5120),其中每 4 层出现 1 层全注意力层,其余 48 层为线性注意力(Gated DeltaNet),详见 config.json。 - 双向注意力:训练时全注意力层看到的是整个 prompt,而不是只看当前 token 之前的内容。因此推理时必须以同样方式服务——这正是仓库自带运行时的作用。
- 决策读出:取 prompt 最后一个位置的隐状态(pooling=last),过一个 float32 线性层得到 255 个选项的 logits,再做 softmax 归一化。
- 图片处理:图片放在文本之前,按原比例缩放到最大 1,638,400 像素(约 1280×1280),每 32×32 像素占 1 个 token——一张 1.6MP 图约消耗 1600 token 🖼️
⚠️ 重要坑点:必须使用
trust_remote_code=True加载,仓库才会启用自带运行时(matilda_decision_runtime.py 中的双向注意力钩子)。如果把它当成普通的因果语言模型加载,得到的答案会不同,而且更差。
快速上手:安装并调用 Matilda Decision v1
第 1 步:获取模型权重并安装依赖
git clone https://gitcode.com/hf_mirrors/Maincode/Matilda-Decision-v1
pip install "transformers==5.17.0" torch torchvision pillow safetensors
# 可选:flash-linear-attention,为线性注意力层提供更快 GPU kernel
完整版本约束见 requirements-runtime.txt。
第 2 步:加载并提问
from transformers import AutoModel
model = AutoModel.from_pretrained("/path/to/Matilda-Decision-v1", trust_remote_code=True)
result = model.system_one(
state="The order arrived damaged yesterday. The customer has a receipt and asks for a replacement today.",
questions={
"route": {
"type": "choice",
"instructions": "Which team should handle this request?",
"criteria": {
"returns": "Refunds, replacements and damaged deliveries",
"billing": "Payments, invoices and charges",
"technical": "Product setup and faults",
},
},
"receipt": {"type": "noul", "instructions": "Does the customer have a receipt?"},
},
)
print(result["answers"])
返回形如(数值为示意):
{
"route": {"choice": "returns", "confidence": 0.9,
"probabilities": {"returns": 0.86, "billing": 0.06, "technical": 0.08}},
"receipt": {"noul": 0.99}
}
📌 提示:from_pretrained 支持 device(有 GPU 时默认 cuda:0)和 max_image_pixels 参数;图片支持本地路径、http(s) 链接、PIL 对象或 base64 data URL。27B 模型以 bf16 运行需要一张大显存 GPU(官方在 ROCm 7.2 / AMD Instinct MI355X 上验证过)。
评测结果:公开榜单上的表现
在 Jev Decision Index 0.3 公开测试集上,全部 140,178 个请求均得到回答,无一被标记为不支持:
| 模型 | 公开指数(越高越好) | 语言 | 工具与自动化 |
|---|---|---|---|
| Matilda Decision v1 (27B) | 65.38 | 71.3 | 84.6 |
| Torchcast Decision 27B | 65.10 | 72.0 | 84.6 |
| Perplexity Decider v1.1 (27B) | 62.25 | 67.5 | 78.9 |
| Jev | 57.96 | 59.2 | 75.1 |
以上为公开集成绩;知识推理、检索分类、艺术与品味等完整维度分数见 README.md。
项目文件结构速览
| 文件 | 作用 |
|---|---|
| matilda_decision_runtime.py | 核心运行时:双向注意力、255 答案码、概率到答案的转换 |
| modeling_matilda_decision.py | Transformers AutoModel 加载入口(trust_remote_code=True) |
| matilda_decision_engine.py | Decision Index 评测套件引擎 |
| decision_config.json | 决策配置:255 个答案码及其 token ID、注意力模式等 |
| readout.safetensors | 255 选项决策读出层权重(float32) |
| config.json | 底座架构配置:64 层、hidden 5120、视觉编码器 27 层 |
| processor_config.json | 图像处理器配置(默认 1.6MP 上限) |
| model-00001-of-00011.safetensors 等 11 个分片 | 模型权重 |
| tokenizer.json / chat_template.jinja | 分词器与聊天模板 |
| requirements-runtime.txt | 运行时依赖清单 |
| LICENSE | Apache-2.0 许可证 |
常见问题
🤔 为什么加载时必须加 trust_remote_code=True?
因为模型以双向注意力方式训练,仓库自带运行时负责设置这种注意力模式。跳过它相当于用"错误姿势"运行,答案质量会下降。
输入太长会被截断吗?
不会。任何超过 131,072 token 的请求会直接抛出错误——宁缺毋滥,保证模型永远看到完整上下文。
一个问题最多能有多少个选项?
255 个(choice 和 score 类型共用 255 个单 token 答案码),超出会报错。
图片会影响速度吗?
每张 1.6MP 图片约 1600 token。追求速度可在加载时降低 max_image_pixels,但图表、文档、小字等细节的准确率会下降。
能微调吗?
当前仓库只提供推理能力(运行时禁止训练模式),定位是开箱即用的决策模型。
总结
Matilda-Decision-v1 展示了一种与"生成文本"截然不同的模型形态 🎯:
- 不生成文本——255 选项决策读出直接输出概率分布;
- 一次调用全答——同一状态下多个问题共享上下文,逐题前向、批量返回;
- 答案带概率——choice/score 附置信度,noul 直接给"是"的概率,方便下游做阈值控制;
- 架构有讲究——双向注意力必须用仓库自带运行时加载,这是上手时唯一需要注意的"姿势"。
如果你需要一个快、稳、可解释置信度的多模态判断引擎,这个 Apache-2.0 许可的 27B 决策模型值得放进你的工具箱。