rsi-jev-v6.1-vl-4b是什么?一文读懂不生成任何Token的多模态「瞬时决策」AI模型

原创2026-11-14 21:38:471,354 阅读

rsi-jev-v6.1-vl-4b是什么?一文读懂不生成任何Token的多模态「瞬时决策」AI模型

rsi-jev-v6.1-vl-4b 是一个多模态「瞬时决策」AI 模型:它只做一次前向传播,不生成任何 Token、不写推理过程,而是直接给每个选项输出一个概率。它可以同时理解文档文本和最多 4 张图片,回答选择题(choice)、是/否类(noul)和评分类(score)问题,并告诉你答案在第几层算出。对于想低延迟、可校准概率地做 AI 决策的系统,它是目前 4B 级模型中表现最好的之一。

🧠 为什么它"不生成任何Token"?

大多数大语言模型是"System Two":逐词生成推理链,越写越长,延迟也随之累积。而 README.md 对 v6.1-VL 的定义只有一句话:

v6.1-VL is a System One model: one forward pass, no generated reasoning, a probability for every option.

把它想象成"直觉反应"而非"打草稿":

  • ❌ 传统模型:读题 → 生成几百个 Token 的推理 → 最后才是答案
  • ✅ rsi-jev-v6.1-vl-4b:读题 → 一次前向传播 → 每个选项一个概率,同时附带 confidence 置信度

关键细节:effort 参数控制的是"这次前向传播走多少层"(16、20 或 32 层),而不是写多少 Token——因为它一个都不写。

⚡ 核心架构:三层"早退"决策头

模型底座是 Qwen/Qwen3.5-4B-Base(config.json 中 num_hidden_layers: 32),但真正的亮点是分布在中间的早退机制(early exit):

决策头 位置 权重文件 说明
主决策头 第 32 层 scorer.safetensors 最高精度出口
早退头 A 第 16 层 aux_scorers.safetensors 难题才走不到这里,简单题到此为止
早退头 B 第 20 层 aux_scorers.safetensors 精度与速度的折中

在 auto 模式下,问题会在第一个"足够自信"的出口停下:第 16 层校准后概率达到 0.85、或第 20 层达到 0.50 即提前作答,否则走满 32 层(阈值定义见 meta.json 的 adaptive 字段)。实测效果:

  • 52% 的问题在第 16 层就作答,35% 在第 20 层,仅 13% 走满 32 层
  • 平均深度仅 19.5 层,精度与走满 32 层几乎一致
  • 中位延迟 28.4 ms,比 high 模式的 40.4 ms 快约 30%(NVIDIA H200,bf16)

⚠️ 注意:带图片的问题始终走满 32 层,早退出口只读文本。

🔬 它是怎么炼成的:两次微调的"权重平均"

v6.1-VL 没有训练新参数,而是把两条独立微调线的权重做了 0.5/0.5 平均(Model Soup):

  1. 成员 A:v6.0-VL,主干 + 早退头在 148 个文本源上训练 10,000 步,再补 3,000 步图像训练
  2. 成员 B:同底座的第二次微调,五阶段训练(文本 28,886 步 → 图像 3,000 步 → 两阶段混合训练),成员 B 单独使用精度不达标,不能独立发布
  3. 平均:视觉塔、主决策头、早退头所有张量逐元素取均值,平均之后不再训练任何东西
  4. 重新拟合温度:平均会缩小 logits,因此每个出口的温度重新校准为 T = 0.87 / 0.63 / 1.02(见 calibration.json)

一个有趣的发现:增益来自视觉塔而非决策头——平均后的视觉塔 + v6.0-VL 原决策头,能拿到平均模型 98% 的增益;反过来只平均决策头则毫无收益。

📊 性能表现:Decision Index 50.98

指标 v6.1-VL v6.0-VL(上代)
15 项基准测试套件 0.793 0.770
留出集(held-out) 0.729 0.698
MMLU-Pro 1k 0.462 0.443
图像理解(eval_vision_v1) 0.834 0.825
Decision Index 0.3 公开榜 50.98 46.23

在 Decision Index 0.3 公开榜单上,50.98 分与当时最佳 4B 模型持平(50.82),总排名 113 个模型中第 27 位。不同 effort 档位的得分与速度:

effort 深度(层) Decision Index 得分 中位延迟
low 16 47.85 22.5 ms
medium 20 50.76 26.8 ms
auto 平均 19.5 50.93 28.4 ms
high 32 51.42 40.4 ms

📦 文件清单:每个权重文件负责什么

本仓库是一个自包含(self-contained)的检查点,核心文件分工如下:

文件 职责
tower.safetensors 32 层解码器主干(bf16)+ Token 嵌入,约 3.57B + 0.64B 参数
visual.safetensors 视觉塔(0.33B 参数),处理最多 4 张输入图片
scorer.safetensors 主决策头(第 32 层,0.05B)
aux_scorers.safetensors 第 16 层和第 20 层的早退决策头(0.10B)
calibration.json / calibration.safetensors 每个出口一个温度系数,用于概率校准
config.json 底座架构配置(Qwen3_5ForConditionalGeneration)
meta.json 训练规格、服务设置(adaptive 出口与阈值)、参数统计
tokenizer.json / vocab.json / merges.txt 分词器资源
preprocessor_config.json / video_preprocessor_config.json 图像/视频前处理器配置
SHA256SUMS 全部文件的校验和,下载后可核对完整性

全模型共 4.69B 参数(3.57B 解码器 + 0.64B 嵌入 + 0.33B 视觉塔 + 0.05B 主头 + 0.10B 早退头),以 Apache-2.0 协议发布。

🚀 如何部署使用

部署只需两步:安装 RSI-Jev 服务工具,然后用一行命令拉起模型。如果需要拉取本仓库,地址为 https://gitcode.com/hf_mirrors/shgao/rsi-jev-v6.1-vl-4b。

pip install "rsi-jev[fast,vision]"
rsi-jev serve v6.1-vl-4b              # 默认:单问题走 32 层,多问题走 0.95 级联
rsi-jev serve v6.1-vl-4b --effort auto # 启用早退级联,追求低延迟

服务启动后通过 Jev HTTP API 提问,响应会同时返回:

  • 每个选项的概率(用于决策)
  • confidence 置信度(公式为 (K·p_max − 1)/(K − 1),与概率是两个不同的数)
  • usage.depth:这个问题最终在第几层作答——这是评估"早退机制"是否生效最直观的字段

容量方面:单次输入最长 32,768 Token(超出返回 422,不做截断),最多支持 5,120 个选项。

⚠️ 局限性与注意事项

保持客观,官方文档(README.md)也明确列出了短板:

  1. 校准比上代差:最终集 ECE 为 0.048(v6.0-VL 是 0.036),auto 模式下 0.055 对 0.024,仍在 0.078 的发布红线内。如果你在早退出口上按 usage.confidence 做路由,务必用自己的数据验证
  2. 图像无法早退:带图问题固定走满 32 层,图像请求享受不到低延迟
  3. 默认单阈值 0.95 是规则兜底值,未经完整确认
  4. 请按官方打包方式部署:换用旧的整块选项池化,CLINC150 精度会从 0.837 掉到 0.627

总结

rsi-jev-v6.1-vl-4b 代表了 AI 决策的一条新路线:用权重平均融合两条微调线、用早退机制按需分配计算深度、用概率输出替代 Token 生成。如果你的场景是"读一份文档或几张图,快速给出可校准的概率化决策",它值得重点关注——单次前向传播、30 毫秒级延迟,这就是「瞬时决策」的含义。

登录后查看全文
rsi-jev-v6.1-vl-4b