认识rsi-jev-v6.1-vl-27b:一次前向、不写一个Token的System One多模态决策模型完全指南
认识rsi-jev-v6.1-vl-27b:一次前向、不写一个Token的System One多模态决策模型完全指南
rsi-jev-v6.1-vl-27b 是一个 System One(快思考)多模态决策模型:给它一段文本和最多 4 张图片,外加若干"带类型的问题",它只做一次前向计算、不生成任何一个 Token,就直接给每个选项一个概率。基于 Qwen/Qwen3.8-27B,共 26.66B 参数,在单张 96GB 显存的 GPU 上以 bf16 运行。这篇指南带你从零看懂它的原理、文件结构和上手方法。🚀
rsi-jev-v6.1-vl-27b 是什么?和普通对话模型有何不同
普通大模型回答问题是"写出一串 Token",越写越长、越写越贵;而 rsi-jev-v6.1-vl-27b 把"回答"变成了"打分"——每个选项直接得到一个概率值,回答过程一个 Token 都不写。
它的核心设定(见 README.md):
- 一次前向(one forward pass):没有生成式推理链,没有逐 Token 解码;
- 每个选项一个概率:支持
choice(选择题)、noul(是/否/无法判断)、score(评分)三类"带类型的决策问题"; - 多模态输入:一段状态文本 + 最多 4 张图片(视觉塔来自基座模型,未单独做图像训练);
- 自适应计算深度:
effort参数决定这次前向"算到第几层"(48、56 或 64 层),而不是决定写多少 Token——因为它根本不写。
一句话概括:它是为"做决定"而不是"写文章"而训练的决策模型。
零 Token 输出背后的机制:三层"提前出口"
这是 rsi-jev-v6.1-vl-27b 最有意思的设计:模型内部有 3 个决策头(decision heads),分别挂在第 48、56、64 层(即主干末端)。问题会在第一个"足够自信"的出口得到答案,简单问题可以提前"下班"。🧠
| effort 档位 | 计算深度 | 说明 |
|---|---|---|
low |
第 48 层 | 只算前 48 层就作答,最快 |
medium |
第 56 层 | 折中 |
high |
第 64 层 | 用满全部 64 层解码层,最准 |
auto(推荐) |
48 → 56 → 64 级联 | 按置信度阈值自动选层 |
auto 模式的判断规则写在 meta.json 中:第 48 层的校准后最高概率达到 0.8 就在此作答;否则到第 56 层,阈值 0.7;再不够就走到第 64 层。官方测试中 auto 的平均深度约 52.5 层,却能达到与跑满 64 层几乎一样的准确率——这就是"提前出口(early exit)"带来的免费加速。
每个出口还有各自独立校准的温度(temperature),记录在 calibration.json:第 48 层 T=1.01、第 56 层 T=1.02、第 64 层 T=1.05。API 返回中 usage.depth 会告诉你每个问题实际在第几层作答;注意返回里的 confidence(一种归一化统计量)和选项概率是两个不同的数,做路由决策时建议直接用你打算执行的那个选项的概率。
模型是怎么炼成的? 两个独立微调的 Qwen3.8-27B 版本(member A 和 member B)逐权重取 0.5/0.5 平均——这就是经典的 model soup(模型汤),平均后的效果比任何单个成员都更好;48 层和 56 层的提前出口头也是同样方式平均得到,且双双超过各自的来源成员。详见 README.md。
检查点文件结构:每个文件负责什么
这个仓库是一个自包含的模型检查点,15 个文件各司其职:
| 文件 | 内容 |
|---|---|
| tower.safetensors | 主干:64 层解码层 + Token 嵌入(bf16,约 24.35B + 1.27B 参数) |
| visual.safetensors | 基座模型的视觉塔(约 0.46B 参数) |
| scorer.safetensors | 主决策头,挂在第 64 层(约 0.19B) |
| aux_scorers.safetensors | 第 48 层和第 56 层的两个提前出口头(约 0.38B) |
| calibration.json、calibration.safetensors | 各出口的校准温度 |
| config.json | 架构配置:64 层、hidden_size 5120、词表 248320(见 config.json) |
| meta.json | 训练规格、自适应出口策略(exits: [48, 56, 64])、参数统计等 |
| tokenizer.json、vocab.json、merges.txt | 分词器三件套 |
| preprocessor_config.json、video_preprocessor_config.json | 图像/视频处理器配置(patch 16、merge 2) |
| md5.txt | 全部文件的 MD5 校验和,下载后可用于完整性验证 |
各部分参数量明细见 meta.json,合计 26,659,551,478(26.66B)。
性能实测:准确率与速度
📊 决策类基准(Decision Index 0.3 公开集,140,178 个请求全量跑完):
--effort auto得分 65.64(官方推荐配置)- 不设置 effort 得分 65.46
- 同架构的 v6.1-VL 4B 只有 50.98,27B 版在五个领域全面领先,其中"工具与自动化"高达 81.22
📈 内部 15 基准测试集均值:high(64 层)0.843,auto 0.841——用 52.5 层的平均深度换来了 0.002 的微小代价,非常划算。图像任务(4,173 张图)准确率 0.858,比带图像训练的 4B 版(0.834)还高。
⚡ 速度与显存(bf16、单请求):
| 硬件 | 配置 | 中位延迟 | 峰值显存 |
|---|---|---|---|
| H200 | effort 未设置 | 57.8 ms | 78.6 GB |
| H200 | auto |
45.5 ms | 78.6 GB |
| RTX PRO 6000(96GB) | effort 未设置 | 105.7 ms | 84.3 GB |
还有一个工程细节:短请求会被右填充到 64 的倍数并走 CUDA Graphs 重放(meta.json 中 serving.pad_multiple = 64),128 Token 以内的单问题请求耗时约为原来的 0.45 倍。输入上限 32,768 Token,选项数上限 5,120。
快速上手:三步跑起 rsi-jev-v6.1-vl-27b
第 1 步:安装(需要一张 96GB 显存的 GPU)
pip install "rsi-jev[fast,vision] @ git+https://github.com/Shanghua-Gao/RSI-Jev"
第 2 步:启动服务
rsi-jev serve v6.1-vl-27b --effort auto # 推荐;也可用环境变量 RSIJEV_EFFORT=auto
rsi-jev serve v6.1-vl-27b # 不设 effort:单问默认 64 层
第 3 步:用 Python 发起决策
from rsijev import Decider
d = Decider("v6.1-vl-27b")
d.decide("I was charged twice. Please refund.",
{"refund": {"type": "noul", "instructions": "Does the user request a refund?"}})
请求里也可以自带 effort 字段覆盖服务端的默认档位。模型别名就是 v6.1-vl-27b,服务以 Jev HTTP API 对外提供。
使用前的注意事项(限制与细节)
- 硬件门槛:必须单张 96GB GPU(bf16),没有更小的构建版本;
- 校准略弱:最终集 ECE 为 0.064(64 层)/ 0.069(auto),比 4B 版的 0.048/0.055 差一些——如果你要按
confidence做路由,建议在自己的数据上先验证; - 图像能力来自基座:视觉塔未做独立图像训练,图像任务只在 eval_vision_v1 上被测过;
- 提前出口只在简单问题上省钱:MMLU-Pro 这类难题在第 48 层会掉 0.058,重要决策建议用
high或auto; - 按官方路径部署:模型数字是在填充路径(
pad_multiple=64)上定义的,用RSIJEV_PAD_MULTIPLE=0关闭后约 0.4% 的答案会变化(均为接近平局的选项)。
总结
rsi-jev-v6.1-vl-27b 代表了一类新的模型用法:不生成文本、只输出"每个选项的概率 + 作答深度",用一次前向完成文档与图像上的分类、判定与打分。它的三板斧——模型汤合并主干、多层提前出口、逐出口温度校准——都值得做推理服务优化的开发者参考。如果你有 96GB 显存,需要低延迟的多模态"判定型"服务,值得亲自试试 --effort auto。
📌 相关文件:README.md · meta.json · config.json · calibration.json