Matilda-Decision-v1是什么?27B多模态决策模型完整解析:不生成文本,一次调用返回全部答案与概率

原创2026-11-14 21:20:331,037 阅读
文章标签:人工智能基础模型大模型多模态计算机视觉Qwen

Matilda-Decision-v1是什么?27B多模态决策模型完整解析:不生成文本,一次调用返回全部答案与概率

Matilda-Decision-v1 是 Maincode 开源的 27B 参数多模态决策模型:它不生成文本,你给它一段文字、JSON 或图片,再附上一组问题,一次 system_one 调用即可拿到所有问题的答案,且每个答案都附带完整的概率分布。本文面向新手,完整解析它的三种问题类型、双向注意力架构与快速上手方法。

初识 Matilda Decision v1:它和文本大模型有何不同

大多数大语言模型(LLM)的工作方式是"一个字一个字地生成文本"。而 Matilda Decision v1 走的是另一条路:它是一个只做决策、不生成文本的模型,可以理解为"System 1(直觉式快速判断)"模型 🧠

核心规格 说明
参数量 26.1B(含视觉编码器),基于 Qwen3.8-27B 视觉语言底座
输入 文本或 JSON + 任意多张图片(每张最大 1.6MP)
问题类型 choice 多选(最多 255 个选项)· noul 是/否 · score 打分
输出 一次调用返回全部问题的答案 + 每个选项的概率
上下文 131,072 token,从不截断,超长直接报错
许可证 Apache-2.0(LICENSE)

它的设计目标是把"判断"这件事做得又快又可靠:客服工单该转给哪个团队?这张收据上有没有写这台机器器?这张图的紧急程度打几分?——问完即答,答案还带着概率。

与常见 LLM 的 3 个关键区别

1️⃣ 不生成文本,直接输出概率

模型内部有一个 255 选项的"决策读出"层(readout.safetensors),答案从预定义的 255 个"答案码"(A、B、C……AA、AB……JT,定义见 decision_config.json)中读出,每个选项都有概率,而不是靠生成文字再解析。

2️⃣ 一次调用,回答所有问题

system_one(state, questions, images) 接收一段共享的"状态"(state)和一组问题。所有问题看到同样的文本与图片,每个问题只需一次前向传播,最终打包返回 {"model", "answers", "usage"},见 matilda_decision_runtime.py。

3️⃣ 答案自带置信度

  • choice:给出选中项、每个选项的概率和 confidence
  • score:给出期望分值、各档位概率与 confidence
  • noul:直接给出"是"的概率 P(true) ✅

支持的问题类型:choice、noul、score 三种问法

所有问题都围绕同一个 state 提问,按类型提供 criteria(选项定义):

类型 type criteria 写法 返回内容
多选 choice {选项名: 描述或 None},1–255 个 choice + 每选项 probabilities + confidence
是/否 noul 可选 {"true": ..., "false": ...} noul:yes/true 的概率
打分 score 档位描述列表(从低到高) 期望 score + probabilities + legend + confidence

💡 一个典型场景(来自官方示例):订单损坏、客户有收据、今天就要换货——同时问"该转给哪个团队(choice)""客户有收据吗(noul)""紧急程度打几分(score)",一次调用全部返回。概率如何从原始 logits 换算成答案,见 答案构造逻辑。

架构解析:双向注意力 + 255 选项决策读出

这是理解本模型最关键的部分 ⚙️

  • 底座:Qwen3.8-27B 视觉语言模型,文本部分共 64 层(hidden_size 5120),其中每 4 层出现 1 层全注意力层,其余 48 层为线性注意力(Gated DeltaNet),详见 config.json。
  • 双向注意力:训练时全注意力层看到的是整个 prompt,而不是只看当前 token 之前的内容。因此推理时必须以同样方式服务——这正是仓库自带运行时的作用。
  • 决策读出:取 prompt 最后一个位置的隐状态(pooling=last),过一个 float32 线性层得到 255 个选项的 logits,再做 softmax 归一化。
  • 图片处理:图片放在文本之前,按原比例缩放到最大 1,638,400 像素(约 1280×1280),每 32×32 像素占 1 个 token——一张 1.6MP 图约消耗 1600 token 🖼️

⚠️ 重要坑点:必须使用 trust_remote_code=True 加载,仓库才会启用自带运行时(matilda_decision_runtime.py 中的双向注意力钩子)。如果把它当成普通的因果语言模型加载,得到的答案会不同,而且更差。

快速上手:安装并调用 Matilda Decision v1

第 1 步:获取模型权重并安装依赖

git clone https://gitcode.com/hf_mirrors/Maincode/Matilda-Decision-v1
pip install "transformers==5.17.0" torch torchvision pillow safetensors
# 可选:flash-linear-attention,为线性注意力层提供更快 GPU kernel

完整版本约束见 requirements-runtime.txt。

第 2 步:加载并提问

from transformers import AutoModel

model = AutoModel.from_pretrained("/path/to/Matilda-Decision-v1", trust_remote_code=True)

result = model.system_one(
    state="The order arrived damaged yesterday. The customer has a receipt and asks for a replacement today.",
    questions={
        "route": {
            "type": "choice",
            "instructions": "Which team should handle this request?",
            "criteria": {
                "returns": "Refunds, replacements and damaged deliveries",
                "billing": "Payments, invoices and charges",
                "technical": "Product setup and faults",
            },
        },
        "receipt": {"type": "noul", "instructions": "Does the customer have a receipt?"},
    },
)
print(result["answers"])

返回形如(数值为示意):

{
  "route": {"choice": "returns", "confidence": 0.9,
            "probabilities": {"returns": 0.86, "billing": 0.06, "technical": 0.08}},
  "receipt": {"noul": 0.99}
}

📌 提示:from_pretrained 支持 device(有 GPU 时默认 cuda:0)和 max_image_pixels 参数;图片支持本地路径、http(s) 链接、PIL 对象或 base64 data URL。27B 模型以 bf16 运行需要一张大显存 GPU(官方在 ROCm 7.2 / AMD Instinct MI355X 上验证过)。

评测结果:公开榜单上的表现

在 Jev Decision Index 0.3 公开测试集上,全部 140,178 个请求均得到回答,无一被标记为不支持:

模型 公开指数(越高越好) 语言 工具与自动化
Matilda Decision v1 (27B) 65.38 71.3 84.6
Torchcast Decision 27B 65.10 72.0 84.6
Perplexity Decider v1.1 (27B) 62.25 67.5 78.9
Jev 57.96 59.2 75.1

以上为公开集成绩;知识推理、检索分类、艺术与品味等完整维度分数见 README.md。

项目文件结构速览

文件 作用
matilda_decision_runtime.py 核心运行时:双向注意力、255 答案码、概率到答案的转换
modeling_matilda_decision.py Transformers AutoModel 加载入口(trust_remote_code=True)
matilda_decision_engine.py Decision Index 评测套件引擎
decision_config.json 决策配置:255 个答案码及其 token ID、注意力模式等
readout.safetensors 255 选项决策读出层权重(float32)
config.json 底座架构配置:64 层、hidden 5120、视觉编码器 27 层
processor_config.json 图像处理器配置(默认 1.6MP 上限)
model-00001-of-00011.safetensors 等 11 个分片 模型权重
tokenizer.json / chat_template.jinja 分词器与聊天模板
requirements-runtime.txt 运行时依赖清单
LICENSE Apache-2.0 许可证

常见问题

🤔 为什么加载时必须加 trust_remote_code=True?

因为模型以双向注意力方式训练,仓库自带运行时负责设置这种注意力模式。跳过它相当于用"错误姿势"运行,答案质量会下降。

输入太长会被截断吗?

不会。任何超过 131,072 token 的请求会直接抛出错误——宁缺毋滥,保证模型永远看到完整上下文。

一个问题最多能有多少个选项?

255 个(choice 和 score 类型共用 255 个单 token 答案码),超出会报错。

图片会影响速度吗?

每张 1.6MP 图片约 1600 token。追求速度可在加载时降低 max_image_pixels,但图表、文档、小字等细节的准确率会下降。

能微调吗?

当前仓库只提供推理能力(运行时禁止训练模式),定位是开箱即用的决策模型。

总结

Matilda-Decision-v1 展示了一种与"生成文本"截然不同的模型形态 🎯:

  1. 不生成文本——255 选项决策读出直接输出概率分布;
  2. 一次调用全答——同一状态下多个问题共享上下文,逐题前向、批量返回;
  3. 答案带概率——choice/score 附置信度,noul 直接给"是"的概率,方便下游做阈值控制;
  4. 架构有讲究——双向注意力必须用仓库自带运行时加载,这是上手时唯一需要注意的"姿势"。

如果你需要一个快、稳、可解释置信度的多模态判断引擎,这个 Apache-2.0 许可的 27B 决策模型值得放进你的工具箱。

登录后查看全文
Matilda-Decision-v1