rsi-jev-v6.1-vl-4b是什么?一文读懂不生成任何Token的多模态「瞬时决策」AI模型
rsi-jev-v6.1-vl-4b是什么?一文读懂不生成任何Token的多模态「瞬时决策」AI模型
rsi-jev-v6.1-vl-4b 是一个多模态「瞬时决策」AI 模型:它只做一次前向传播,不生成任何 Token、不写推理过程,而是直接给每个选项输出一个概率。它可以同时理解文档文本和最多 4 张图片,回答选择题(choice)、是/否类(noul)和评分类(score)问题,并告诉你答案在第几层算出。对于想低延迟、可校准概率地做 AI 决策的系统,它是目前 4B 级模型中表现最好的之一。
🧠 为什么它"不生成任何Token"?
大多数大语言模型是"System Two":逐词生成推理链,越写越长,延迟也随之累积。而 README.md 对 v6.1-VL 的定义只有一句话:
v6.1-VL is a System One model: one forward pass, no generated reasoning, a probability for every option.
把它想象成"直觉反应"而非"打草稿":
- ❌ 传统模型:读题 → 生成几百个 Token 的推理 → 最后才是答案
- ✅ rsi-jev-v6.1-vl-4b:读题 → 一次前向传播 → 每个选项一个概率,同时附带
confidence置信度
关键细节:effort 参数控制的是"这次前向传播走多少层"(16、20 或 32 层),而不是写多少 Token——因为它一个都不写。
⚡ 核心架构:三层"早退"决策头
模型底座是 Qwen/Qwen3.5-4B-Base(config.json 中 num_hidden_layers: 32),但真正的亮点是分布在中间的早退机制(early exit):
| 决策头 | 位置 | 权重文件 | 说明 |
|---|---|---|---|
| 主决策头 | 第 32 层 | scorer.safetensors | 最高精度出口 |
| 早退头 A | 第 16 层 | aux_scorers.safetensors | 难题才走不到这里,简单题到此为止 |
| 早退头 B | 第 20 层 | aux_scorers.safetensors | 精度与速度的折中 |
在 auto 模式下,问题会在第一个"足够自信"的出口停下:第 16 层校准后概率达到 0.85、或第 20 层达到 0.50 即提前作答,否则走满 32 层(阈值定义见 meta.json 的 adaptive 字段)。实测效果:
- 52% 的问题在第 16 层就作答,35% 在第 20 层,仅 13% 走满 32 层
- 平均深度仅 19.5 层,精度与走满 32 层几乎一致
- 中位延迟 28.4 ms,比
high模式的 40.4 ms 快约 30%(NVIDIA H200,bf16)
⚠️ 注意:带图片的问题始终走满 32 层,早退出口只读文本。
🔬 它是怎么炼成的:两次微调的"权重平均"
v6.1-VL 没有训练新参数,而是把两条独立微调线的权重做了 0.5/0.5 平均(Model Soup):
- 成员 A:v6.0-VL,主干 + 早退头在 148 个文本源上训练 10,000 步,再补 3,000 步图像训练
- 成员 B:同底座的第二次微调,五阶段训练(文本 28,886 步 → 图像 3,000 步 → 两阶段混合训练),成员 B 单独使用精度不达标,不能独立发布
- 平均:视觉塔、主决策头、早退头所有张量逐元素取均值,平均之后不再训练任何东西
- 重新拟合温度:平均会缩小 logits,因此每个出口的温度重新校准为 T = 0.87 / 0.63 / 1.02(见 calibration.json)
一个有趣的发现:增益来自视觉塔而非决策头——平均后的视觉塔 + v6.0-VL 原决策头,能拿到平均模型 98% 的增益;反过来只平均决策头则毫无收益。
📊 性能表现:Decision Index 50.98
| 指标 | v6.1-VL | v6.0-VL(上代) |
|---|---|---|
| 15 项基准测试套件 | 0.793 | 0.770 |
| 留出集(held-out) | 0.729 | 0.698 |
| MMLU-Pro 1k | 0.462 | 0.443 |
| 图像理解(eval_vision_v1) | 0.834 | 0.825 |
| Decision Index 0.3 公开榜 | 50.98 | 46.23 |
在 Decision Index 0.3 公开榜单上,50.98 分与当时最佳 4B 模型持平(50.82),总排名 113 个模型中第 27 位。不同 effort 档位的得分与速度:
| effort | 深度(层) | Decision Index 得分 | 中位延迟 |
|---|---|---|---|
low |
16 | 47.85 | 22.5 ms |
medium |
20 | 50.76 | 26.8 ms |
auto |
平均 19.5 | 50.93 | 28.4 ms |
high |
32 | 51.42 | 40.4 ms |
📦 文件清单:每个权重文件负责什么
本仓库是一个自包含(self-contained)的检查点,核心文件分工如下:
| 文件 | 职责 |
|---|---|
| tower.safetensors | 32 层解码器主干(bf16)+ Token 嵌入,约 3.57B + 0.64B 参数 |
| visual.safetensors | 视觉塔(0.33B 参数),处理最多 4 张输入图片 |
| scorer.safetensors | 主决策头(第 32 层,0.05B) |
| aux_scorers.safetensors | 第 16 层和第 20 层的早退决策头(0.10B) |
| calibration.json / calibration.safetensors | 每个出口一个温度系数,用于概率校准 |
| config.json | 底座架构配置(Qwen3_5ForConditionalGeneration) |
| meta.json | 训练规格、服务设置(adaptive 出口与阈值)、参数统计 |
| tokenizer.json / vocab.json / merges.txt | 分词器资源 |
| preprocessor_config.json / video_preprocessor_config.json | 图像/视频前处理器配置 |
| SHA256SUMS | 全部文件的校验和,下载后可核对完整性 |
全模型共 4.69B 参数(3.57B 解码器 + 0.64B 嵌入 + 0.33B 视觉塔 + 0.05B 主头 + 0.10B 早退头),以 Apache-2.0 协议发布。
🚀 如何部署使用
部署只需两步:安装 RSI-Jev 服务工具,然后用一行命令拉起模型。如果需要拉取本仓库,地址为 https://gitcode.com/hf_mirrors/shgao/rsi-jev-v6.1-vl-4b。
pip install "rsi-jev[fast,vision]"
rsi-jev serve v6.1-vl-4b # 默认:单问题走 32 层,多问题走 0.95 级联
rsi-jev serve v6.1-vl-4b --effort auto # 启用早退级联,追求低延迟
服务启动后通过 Jev HTTP API 提问,响应会同时返回:
- 每个选项的概率(用于决策)
confidence置信度(公式为(K·p_max − 1)/(K − 1),与概率是两个不同的数)usage.depth:这个问题最终在第几层作答——这是评估"早退机制"是否生效最直观的字段
容量方面:单次输入最长 32,768 Token(超出返回 422,不做截断),最多支持 5,120 个选项。
⚠️ 局限性与注意事项
保持客观,官方文档(README.md)也明确列出了短板:
- 校准比上代差:最终集 ECE 为 0.048(v6.0-VL 是 0.036),
auto模式下 0.055 对 0.024,仍在 0.078 的发布红线内。如果你在早退出口上按usage.confidence做路由,务必用自己的数据验证 - 图像无法早退:带图问题固定走满 32 层,图像请求享受不到低延迟
- 默认单阈值 0.95 是规则兜底值,未经完整确认
- 请按官方打包方式部署:换用旧的整块选项池化,CLINC150 精度会从 0.837 掉到 0.627
总结
rsi-jev-v6.1-vl-4b 代表了 AI 决策的一条新路线:用权重平均融合两条微调线、用早退机制按需分配计算深度、用概率输出替代 Token 生成。如果你的场景是"读一份文档或几张图,快速给出可校准的概率化决策",它值得重点关注——单次前向传播、30 毫秒级延迟,这就是「瞬时决策」的含义。