d3-mini是什么?一文读懂这个不生成文本的4B多模态决策模型
d3-mini是什么?一文读懂这个不生成文本的4B多模态决策模型
d3-mini 是 Decision 3.0 家族中的 4B 多模态基础决策模型(多模态决策模型,multimodal foundation decision model),来自 vLLM Semantic Router 项目。给它一段文本或 JSON,再配上图片、视频和一组问题,它会一次调用回答所有问题,并为每个答案直接给出概率——全程不生成任何文本。这正是它和普通大语言模型最大的区别,也是本文要讲清楚的核心。
它和普通大模型有什么本质区别?
先说结论:d3-mini 是一个"只打分、不写字"的模型。
普通大语言模型回答问题时,是一个字一个词地把答案"生成"出来的,而 d3-mini 走的是另一条路:
- 每个选项在提示词里都被赋予一个单 token 的答案代码(
A、B、C……一直到 255 个代码); - 模型把整个提示词读完一遍,最后一个位置上的 255 路 readout 打分头直接给这些代码打分;
- 输出结果就是每个选项各自的概率,不产生任何生成式文本。
这套机制叫 code-readout(代码读出),其契约定义在 d3_format.py 中,运行时实现在 d3_runtime.py 里,额外的打分头权重则存放在 readout.safetensors。
💡 为什么这样设计?因为"做决策"本质上就是选择题。不需要模型长篇大论地推理再给结论,直接输出每个选项的概率,更快、更省、更确定。
三种决策问题:Choice、Yes/No 与 Score
一次请求可以同时提出多道问题,d3-mini 支持三种题型:
| 题型 | 说明 | 例子 |
|---|---|---|
| Choice | 多选项选一,每个选项都有概率 | 这张工单该转给退货组还是账单组? |
| Yes / No(noul) | 二分类判断 | 客户手上是否有收据? |
| Score | 在给定等级上打分 | 紧急程度:普通 / 尽快 / 今天必须处理 |
以客服场景为例:一段工单文本 + 一张客户上传的收据图片,同时问"该转给哪个组""收据上是否列有搅拌机""付款方式是什么",模型会在同一次调用里把三个问题全部答完,每个选项附带概率。d3-mini 自带的示例收据长这样:
上面这张就是仓库中 assets/example-receipt.png 官方样例图——d3-mini 可以从中读出商品、金额、"Paid by card" 等关键信息,再结合文字状态直接做出判断。
多模态输入:文本、图片、视频一次搞定
d3-mini 的多模态能力覆盖三种模态:
- 文本 / JSON:请求的主体状态描述,最长可处理到 32k token 级别的长文本;
- 图片:一次请求可带多张 PNG / JPEG / WebP,每张最多缩放到 1.6MP 读取,所有问题都能看到全部图片;
- 视频:一次请求可带多个 MP4 / WebM / MOV / MKV,按每秒 2 帧采样(全程最多 32 帧)。
输入来源也很灵活:本地文件路径、URL、base64 data URL 或 PIL 图像对象都可以。多模态预处理配置见 video_preprocessor_config.json 与 preprocessor_config.json。
速度与性能:小身材,硬指标
别看它只有 4B 级参数(总计 4.54B,含 0.33B 视觉编码器),成绩单相当能打:
- 延迟:文本请求中位数仅 18.1 ms,带图片 112 ms,10 秒视频 336 ms(单张 AMD Instinct MI325X);
- 吞吐:用 vLLM Semantic Router 服务时达到 151 请求/秒,p99 低于 1 秒,是原生 AutoModel 方式的 2.7 倍;
- 榜单:Jev Decision Index 0.3.2 官方文本榜 52.6 分,在同尺寸(0.75~1.33 倍参数)的 31 个条目中排名第一,且位于 Pareto 前沿;视觉榜 63.2 分,同样位列同尺寸第一;
- 视频理解:Perception Test 多选题视频问答得分 70.3(随机猜测基线 33.3)。
快速上手:三步跑起来
对新手来说,上手路径非常短:
- 安装依赖:
pip install "transformers==5.17.0" torch torchvision pillow opencv-python-headless safetensors accelerate - 加载模型:
AutoModel.from_pretrained("vllm-sr/d3-mini", trust_remote_code=True) - 调用
model.system_one(state="...", questions={...}),传入状态描述和问题字典,拿到带概率的完整答案。
完整示例代码可参考 README.md 的 Quickstart 部分。如果要以 HTTP 服务的形式运行,仓库还内置了纯标准库实现的 d3_server.py,一条命令 python d3_server.py 即可启动,暴露 POST /v1/systemone 接口。
仓库核心文件一览
| 文件 | 作用 |
|---|---|
| d3_runtime.py | 核心运行时:system_one 入口,处理文本/图片/视频请求 |
| d3_format.py | 提示词与答案代码契约(d3-code-readout-v1) |
| d3_fast.py | AMD ROCm GPU 上的快速推理路径(HIP 图重放) |
| d3_kernels.py | 融合 CUDA/ROCm 内核 |
| d3_server.py | 开箱即用的 HTTP 决策服务 |
| decision_config.json | 255 个答案代码、温度、注意力模式等决策配置 |
| config.json | 模型结构配置:32 层、2560 隐藏层、线性注意力混合架构 |
| modeling_d3.py / pipeline_d3.py | transformers 自定义模型与 decision 管线 |
| MODEL_MANIFEST.json | 包清单与权重校验哈希 |
值得注意的是 config.json 中的架构设计:32 层里每 4 层插入一层 full attention,其余为 linear_attention(线性注意力),配合 262144 的上下文长度上限——这也是它推理速度快的底层原因之一。
小结
- d3-mini 是什么:Decision 3.0 的 4B 多模态基础决策模型,Apache-2.0 开源;
- 核心特色:不生成文本,直接输出每个选项的概率,天然适合路由、分类、审核等决策场景;
- 多模态:文本、JSON、多张图片、多个视频可同时输入,一次调用回答多题;
- 适合谁:想为生产系统加一层"智能分诊/决策"、又不想要生成式延迟和不确定性的团队。
如果你想更进一步,可以从 README.md 的 Evaluation 章节查看完整的榜单数据,或直接用 python d3_server.py 把它跑成 HTTP 服务体验一下"毫秒级多模态决策"是什么手感。
