d3-mini是什么?一文读懂这个不生成文本的4B多模态决策模型

原创2026-11-08 14:47:201,911 阅读
文章标签:人工智能大模型多模态基础模型模型推理服务计算机视觉Qwen

d3-mini是什么?一文读懂这个不生成文本的4B多模态决策模型

d3-mini 是 Decision 3.0 家族中的 4B 多模态基础决策模型(多模态决策模型,multimodal foundation decision model),来自 vLLM Semantic Router 项目。给它一段文本或 JSON,再配上图片、视频和一组问题,它会一次调用回答所有问题,并为每个答案直接给出概率——全程不生成任何文本。这正是它和普通大语言模型最大的区别,也是本文要讲清楚的核心。

它和普通大模型有什么本质区别?

先说结论:d3-mini 是一个"只打分、不写字"的模型。

普通大语言模型回答问题时,是一个字一个词地把答案"生成"出来的,而 d3-mini 走的是另一条路:

  • 每个选项在提示词里都被赋予一个单 token 的答案代码(A、B、C……一直到 255 个代码);
  • 模型把整个提示词读完一遍,最后一个位置上的 255 路 readout 打分头直接给这些代码打分;
  • 输出结果就是每个选项各自的概率,不产生任何生成式文本。

这套机制叫 code-readout(代码读出),其契约定义在 d3_format.py 中,运行时实现在 d3_runtime.py 里,额外的打分头权重则存放在 readout.safetensors。

💡 为什么这样设计?因为"做决策"本质上就是选择题。不需要模型长篇大论地推理再给结论,直接输出每个选项的概率,更快、更省、更确定。

三种决策问题:Choice、Yes/No 与 Score

一次请求可以同时提出多道问题,d3-mini 支持三种题型:

题型 说明 例子
Choice 多选项选一,每个选项都有概率 这张工单该转给退货组还是账单组?
Yes / No(noul) 二分类判断 客户手上是否有收据?
Score 在给定等级上打分 紧急程度:普通 / 尽快 / 今天必须处理

以客服场景为例:一段工单文本 + 一张客户上传的收据图片,同时问"该转给哪个组""收据上是否列有搅拌机""付款方式是什么",模型会在同一次调用里把三个问题全部答完,每个选项附带概率。d3-mini 自带的示例收据长这样:

d3-mini多模态决策模型示例:一张含商品明细与付款方式的收据图片

上面这张就是仓库中 assets/example-receipt.png 官方样例图——d3-mini 可以从中读出商品、金额、"Paid by card" 等关键信息,再结合文字状态直接做出判断。

多模态输入:文本、图片、视频一次搞定

d3-mini 的多模态能力覆盖三种模态:

  • 文本 / JSON:请求的主体状态描述,最长可处理到 32k token 级别的长文本;
  • 图片:一次请求可带多张 PNG / JPEG / WebP,每张最多缩放到 1.6MP 读取,所有问题都能看到全部图片;
  • 视频:一次请求可带多个 MP4 / WebM / MOV / MKV,按每秒 2 帧采样(全程最多 32 帧)。

输入来源也很灵活:本地文件路径、URL、base64 data URL 或 PIL 图像对象都可以。多模态预处理配置见 video_preprocessor_config.json 与 preprocessor_config.json。

速度与性能:小身材,硬指标

别看它只有 4B 级参数(总计 4.54B,含 0.33B 视觉编码器),成绩单相当能打:

  • 延迟:文本请求中位数仅 18.1 ms,带图片 112 ms,10 秒视频 336 ms(单张 AMD Instinct MI325X);
  • 吞吐:用 vLLM Semantic Router 服务时达到 151 请求/秒,p99 低于 1 秒,是原生 AutoModel 方式的 2.7 倍;
  • 榜单:Jev Decision Index 0.3.2 官方文本榜 52.6 分,在同尺寸(0.75~1.33 倍参数)的 31 个条目中排名第一,且位于 Pareto 前沿;视觉榜 63.2 分,同样位列同尺寸第一;
  • 视频理解:Perception Test 多选题视频问答得分 70.3(随机猜测基线 33.3)。

快速上手:三步跑起来

对新手来说,上手路径非常短:

  1. 安装依赖:pip install "transformers==5.17.0" torch torchvision pillow opencv-python-headless safetensors accelerate
  2. 加载模型:AutoModel.from_pretrained("vllm-sr/d3-mini", trust_remote_code=True)
  3. 调用 model.system_one(state="...", questions={...}),传入状态描述和问题字典,拿到带概率的完整答案。

完整示例代码可参考 README.md 的 Quickstart 部分。如果要以 HTTP 服务的形式运行,仓库还内置了纯标准库实现的 d3_server.py,一条命令 python d3_server.py 即可启动,暴露 POST /v1/systemone 接口。

仓库核心文件一览

文件 作用
d3_runtime.py 核心运行时:system_one 入口,处理文本/图片/视频请求
d3_format.py 提示词与答案代码契约(d3-code-readout-v1)
d3_fast.py AMD ROCm GPU 上的快速推理路径(HIP 图重放)
d3_kernels.py 融合 CUDA/ROCm 内核
d3_server.py 开箱即用的 HTTP 决策服务
decision_config.json 255 个答案代码、温度、注意力模式等决策配置
config.json 模型结构配置:32 层、2560 隐藏层、线性注意力混合架构
modeling_d3.py / pipeline_d3.py transformers 自定义模型与 decision 管线
MODEL_MANIFEST.json 包清单与权重校验哈希

值得注意的是 config.json 中的架构设计:32 层里每 4 层插入一层 full attention,其余为 linear_attention(线性注意力),配合 262144 的上下文长度上限——这也是它推理速度快的底层原因之一。

小结

  • d3-mini 是什么:Decision 3.0 的 4B 多模态基础决策模型,Apache-2.0 开源;
  • 核心特色:不生成文本,直接输出每个选项的概率,天然适合路由、分类、审核等决策场景;
  • 多模态:文本、JSON、多张图片、多个视频可同时输入,一次调用回答多题;
  • 适合谁:想为生产系统加一层"智能分诊/决策"、又不想要生成式延迟和不确定性的团队。

如果你想更进一步,可以从 README.md 的 Evaluation 章节查看完整的榜单数据,或直接用 python d3_server.py 把它跑成 HTTP 服务体验一下"毫秒级多模态决策"是什么手感。

登录后查看全文
d3-mini