rsi-jev-v5.0-vl-3b完全入门:3.25B多模态决策模型如何一次前向推理回答文档+4图问题

原创2026-11-14 23:27:561,903 阅读
文章标签:大模型多模态模型推理服务强化学习人工智能计算机视觉NLP

rsi-jev-v5.0-vl-3b完全入门:3.25B多模态决策模型如何一次前向推理回答文档+4图问题

rsi-jev-v5.0-vl-3b 是一个 3.25B 参数的多模态决策模型:给它一段文档、最多 4 张图片,再附上若干 choice(多选一)、noul(是/否)、score(按标准打分)类型的判断题,它能在一次前向推理内,为每个选项直接输出一组校准过的概率。不生成文字、不逐词解码,这就是它与普通大语言模型最大的区别。

一、它是什么:一个只做决策的"System One"模型 🧠

大多数大模型回答问题要一层层解码出完整句子,而 rsi-jev-v5.0-vl-3b 的设计哲学是:"System One"式的快决策不需要整台语言模型。

  • 它的底座是 Qwen3.5-4B-Base,但只保留 32 层中的前 20 层,在第 20 层提前读出答案;
  • 最深的那 12 层(语言模型用来"写下一个词"的部分)根本不在检查点里,也从不运行;
  • 仓库完全自包含:分词器、图像处理器、全部权重都在本地,运行时不会向底座模型请求任何内容。

各部分参数规模如下(详细记录见 meta.json):

部件 参数量 说明
解码器第 1–20 层 2.23B 从底座微调而来,含最终 norm
词嵌入 0.64B 直接取自底座,训练时冻结
视觉塔 0.33B 底座原样的视觉编码,负责"看图"
决策头 0.05B 选项打分器 + 置信度头,输出概率
合计 3.25B bf16 权重约 6.2 GB

在 config.json 中可以看到 "num_hidden_layers": 20——模型配置层面就已经把"早退"写死了。

二、仓库文件一览:每个文件负责什么 📦

文件 内容
README.md 项目说明、基准成绩与使用方法
tower.safetensors 主干权重:解码器 1–20 层 + 词嵌入(约 5.7 GB)
visual.safetensors 视觉塔权重
scorer.safetensors 选项打分器与置信度头(约 200 MB)
calibration.json / calibration.safetensors 概率校准参数(温度缩放等,cal_mode: oof_head_scorefloor)
meta.json 训练配方、读取方式(option_pool_own_tokens)、参数统计
verify.json / SHA256SUMS 发布验证记录与文件校验和
config.json、tokenizer 与 processor 文件 底座配置(已改为 20 层)+ 图像/视频预处理参数

三、一次前向推理是怎么工作的 ⚡

  1. 组装输入:一段文档(称为 state),可插入 1–4 张以 <image> 标记定位的图片,再跟上一个或多个带类型的判断题;
  2. 前向传播:文本 token 与视觉特征一起进入 20 层解码器,图像先经过视觉塔编码;
  3. 选项打分:每个选项的向量取其自身 token 块的均值(own-token pooling,不含开头的分隔符),交给决策头算出每个选项的得分;
  4. 校准输出:得分经 calibration.json 中的温度参数校准后,返回每个选项的概率,外加一个 confidence 统计量——注意两者是不同的数字,路由决策建议按"你打算执行的那个选项的概率"来做。

整个流程只有一次前向传播,没有自回归解码。own-token 读取方式还有个小故事:在 151 个编号选项的长列表上,旧的整块池化有 39% 的概率选中"正确答案的下一项",换成 own-token 池化后降到 2%,准确率从 0.383 提到 0.757。

四、快速上手:两条命令跑起来 🚀

需要先安装 rsi-jev 包(含 fast、vision 两个扩展,详见 README.md),然后:

rsi-jev serve v5.0-vl-3b

或在 Python 中直接加载(模型别名就是 v5.0-vl-3b):

from rsijev import Decider

decider = Decider("v5.0-vl-3b")

加载器会自动应用 calibration.safetensors,所以你拿到的就是发布卡上报告的那套校准概率。服务端限制:单次请求最长 32,768 token(超了返回 422,不做截断)、单题最多 5,120 个选项。

推理延迟(GB10 平台,p50,单请求分别带 1 / 8 / 32 题):

题目数 p50 延迟
1 43.7 ms
8 124.6 ms
32 338.2 ms

五、性能表现:3.25B 有多能打 📊

指标 rsi-jev-v5.0-vl-3b 上一代 v4.0-VL 2B
Decision Index 0.2.1(外部基准) 38.38 28.31
MMLU-Pro 1k 0.429 0.385
留出图像集(eval_vision_v1) 0.829 0.802
KoBBQ"模糊时答 unknown" 0.932 0.179
校准后最终集 ECE 0.042 0.082
15 项基准套件 0.764 0.756

亮点有三:知识题答得更多(MMLU-Pro)、看图题更准(图像集 0.829)、以及"知道自己不知道"的能力大幅增强(KoBBQ 模糊题正确弃权率从 0.179 跳到 0.932)。延迟相比 2B 前代约 1.45 倍,换来的是上述全面提升。

六、这些限制你要知道 ⚠️

  • 图片上限 4 张/请求,每题最多 1,024 个视觉 token——整页扫描中的小字可能被缩放丢失;
  • 视觉塔原样来自底座,本版本学到的图像能力都在文本主干和打分器里;
  • 超过 32,768 token 的问题会被拒绝,而不是静默截断;
  • 训练数据不随本仓库发布,只有训练代码与阶段配方在项目中可查。

七、小结 ✅

rsi-jev-v5.0-vl-3b 把"多模态 + 决策"做成了一个非常紧凑的形态:3.25B 参数、6.2 GB 体积、43.7 ms 的单题延迟、概率即校准。如果你的场景是对文档和少量图片做批量分类、判断、打分,而不是开放式对话,这类一次前向推理的决策模型值得认真考虑。

更多训练细节与复现说明,建议直接阅读仓库内的 README.md 与 meta.json。

登录后查看全文
rsi-jev-v5.0-vl-3b