rsi-jev-v5.0-vl-3b完全入门:3.25B多模态决策模型如何一次前向推理回答文档+4图问题
rsi-jev-v5.0-vl-3b完全入门:3.25B多模态决策模型如何一次前向推理回答文档+4图问题
rsi-jev-v5.0-vl-3b 是一个 3.25B 参数的多模态决策模型:给它一段文档、最多 4 张图片,再附上若干 choice(多选一)、noul(是/否)、score(按标准打分)类型的判断题,它能在一次前向推理内,为每个选项直接输出一组校准过的概率。不生成文字、不逐词解码,这就是它与普通大语言模型最大的区别。
一、它是什么:一个只做决策的"System One"模型 🧠
大多数大模型回答问题要一层层解码出完整句子,而 rsi-jev-v5.0-vl-3b 的设计哲学是:"System One"式的快决策不需要整台语言模型。
- 它的底座是
Qwen3.5-4B-Base,但只保留 32 层中的前 20 层,在第 20 层提前读出答案; - 最深的那 12 层(语言模型用来"写下一个词"的部分)根本不在检查点里,也从不运行;
- 仓库完全自包含:分词器、图像处理器、全部权重都在本地,运行时不会向底座模型请求任何内容。
各部分参数规模如下(详细记录见 meta.json):
| 部件 | 参数量 | 说明 |
|---|---|---|
| 解码器第 1–20 层 | 2.23B | 从底座微调而来,含最终 norm |
| 词嵌入 | 0.64B | 直接取自底座,训练时冻结 |
| 视觉塔 | 0.33B | 底座原样的视觉编码,负责"看图" |
| 决策头 | 0.05B | 选项打分器 + 置信度头,输出概率 |
| 合计 | 3.25B | bf16 权重约 6.2 GB |
在 config.json 中可以看到 "num_hidden_layers": 20——模型配置层面就已经把"早退"写死了。
二、仓库文件一览:每个文件负责什么 📦
| 文件 | 内容 |
|---|---|
| README.md | 项目说明、基准成绩与使用方法 |
| tower.safetensors | 主干权重:解码器 1–20 层 + 词嵌入(约 5.7 GB) |
| visual.safetensors | 视觉塔权重 |
| scorer.safetensors | 选项打分器与置信度头(约 200 MB) |
| calibration.json / calibration.safetensors | 概率校准参数(温度缩放等,cal_mode: oof_head_scorefloor) |
| meta.json | 训练配方、读取方式(option_pool_own_tokens)、参数统计 |
| verify.json / SHA256SUMS | 发布验证记录与文件校验和 |
| config.json、tokenizer 与 processor 文件 | 底座配置(已改为 20 层)+ 图像/视频预处理参数 |
三、一次前向推理是怎么工作的 ⚡
- 组装输入:一段文档(称为 state),可插入 1–4 张以
<image>标记定位的图片,再跟上一个或多个带类型的判断题; - 前向传播:文本 token 与视觉特征一起进入 20 层解码器,图像先经过视觉塔编码;
- 选项打分:每个选项的向量取其自身 token 块的均值(own-token pooling,不含开头的分隔符),交给决策头算出每个选项的得分;
- 校准输出:得分经 calibration.json 中的温度参数校准后,返回每个选项的概率,外加一个
confidence统计量——注意两者是不同的数字,路由决策建议按"你打算执行的那个选项的概率"来做。
整个流程只有一次前向传播,没有自回归解码。own-token 读取方式还有个小故事:在 151 个编号选项的长列表上,旧的整块池化有 39% 的概率选中"正确答案的下一项",换成 own-token 池化后降到 2%,准确率从 0.383 提到 0.757。
四、快速上手:两条命令跑起来 🚀
需要先安装 rsi-jev 包(含 fast、vision 两个扩展,详见 README.md),然后:
rsi-jev serve v5.0-vl-3b
或在 Python 中直接加载(模型别名就是 v5.0-vl-3b):
from rsijev import Decider
decider = Decider("v5.0-vl-3b")
加载器会自动应用 calibration.safetensors,所以你拿到的就是发布卡上报告的那套校准概率。服务端限制:单次请求最长 32,768 token(超了返回 422,不做截断)、单题最多 5,120 个选项。
推理延迟(GB10 平台,p50,单请求分别带 1 / 8 / 32 题):
| 题目数 | p50 延迟 |
|---|---|
| 1 | 43.7 ms |
| 8 | 124.6 ms |
| 32 | 338.2 ms |
五、性能表现:3.25B 有多能打 📊
| 指标 | rsi-jev-v5.0-vl-3b | 上一代 v4.0-VL 2B |
|---|---|---|
| Decision Index 0.2.1(外部基准) | 38.38 | 28.31 |
| MMLU-Pro 1k | 0.429 | 0.385 |
| 留出图像集(eval_vision_v1) | 0.829 | 0.802 |
| KoBBQ"模糊时答 unknown" | 0.932 | 0.179 |
| 校准后最终集 ECE | 0.042 | 0.082 |
| 15 项基准套件 | 0.764 | 0.756 |
亮点有三:知识题答得更多(MMLU-Pro)、看图题更准(图像集 0.829)、以及"知道自己不知道"的能力大幅增强(KoBBQ 模糊题正确弃权率从 0.179 跳到 0.932)。延迟相比 2B 前代约 1.45 倍,换来的是上述全面提升。
六、这些限制你要知道 ⚠️
- 图片上限 4 张/请求,每题最多 1,024 个视觉 token——整页扫描中的小字可能被缩放丢失;
- 视觉塔原样来自底座,本版本学到的图像能力都在文本主干和打分器里;
- 超过 32,768 token 的问题会被拒绝,而不是静默截断;
- 训练数据不随本仓库发布,只有训练代码与阶段配方在项目中可查。
七、小结 ✅
rsi-jev-v5.0-vl-3b 把"多模态 + 决策"做成了一个非常紧凑的形态:3.25B 参数、6.2 GB 体积、43.7 ms 的单题延迟、概率即校准。如果你的场景是对文档和少量图片做批量分类、判断、打分,而不是开放式对话,这类一次前向推理的决策模型值得认真考虑。