认识rsi-jev-v6.1-vl-27b:一次前向、不写一个Token的System One多模态决策模型完全指南

原创2026-11-14 14:44:48579 阅读
文章标签:人工智能大模型多模态计算机视觉视觉问答

认识rsi-jev-v6.1-vl-27b:一次前向、不写一个Token的System One多模态决策模型完全指南

rsi-jev-v6.1-vl-27b 是一个 System One(快思考)多模态决策模型:给它一段文本和最多 4 张图片,外加若干"带类型的问题",它只做一次前向计算、不生成任何一个 Token,就直接给每个选项一个概率。基于 Qwen/Qwen3.8-27B,共 26.66B 参数,在单张 96GB 显存的 GPU 上以 bf16 运行。这篇指南带你从零看懂它的原理、文件结构和上手方法。🚀

rsi-jev-v6.1-vl-27b 是什么?和普通对话模型有何不同

普通大模型回答问题是"写出一串 Token",越写越长、越写越贵;而 rsi-jev-v6.1-vl-27b 把"回答"变成了"打分"——每个选项直接得到一个概率值,回答过程一个 Token 都不写。

它的核心设定(见 README.md):

  • 一次前向(one forward pass):没有生成式推理链,没有逐 Token 解码;
  • 每个选项一个概率:支持 choice(选择题)、noul(是/否/无法判断)、score(评分)三类"带类型的决策问题";
  • 多模态输入:一段状态文本 + 最多 4 张图片(视觉塔来自基座模型,未单独做图像训练);
  • 自适应计算深度:effort 参数决定这次前向"算到第几层"(48、56 或 64 层),而不是决定写多少 Token——因为它根本不写。

一句话概括:它是为"做决定"而不是"写文章"而训练的决策模型。

零 Token 输出背后的机制:三层"提前出口"

这是 rsi-jev-v6.1-vl-27b 最有意思的设计:模型内部有 3 个决策头(decision heads),分别挂在第 48、56、64 层(即主干末端)。问题会在第一个"足够自信"的出口得到答案,简单问题可以提前"下班"。🧠

effort 档位 计算深度 说明
low 第 48 层 只算前 48 层就作答,最快
medium 第 56 层 折中
high 第 64 层 用满全部 64 层解码层,最准
auto(推荐) 48 → 56 → 64 级联 按置信度阈值自动选层

auto 模式的判断规则写在 meta.json 中:第 48 层的校准后最高概率达到 0.8 就在此作答;否则到第 56 层,阈值 0.7;再不够就走到第 64 层。官方测试中 auto 的平均深度约 52.5 层,却能达到与跑满 64 层几乎一样的准确率——这就是"提前出口(early exit)"带来的免费加速。

每个出口还有各自独立校准的温度(temperature),记录在 calibration.json:第 48 层 T=1.01、第 56 层 T=1.02、第 64 层 T=1.05。API 返回中 usage.depth 会告诉你每个问题实际在第几层作答;注意返回里的 confidence(一种归一化统计量)和选项概率是两个不同的数,做路由决策时建议直接用你打算执行的那个选项的概率。

模型是怎么炼成的? 两个独立微调的 Qwen3.8-27B 版本(member A 和 member B)逐权重取 0.5/0.5 平均——这就是经典的 model soup(模型汤),平均后的效果比任何单个成员都更好;48 层和 56 层的提前出口头也是同样方式平均得到,且双双超过各自的来源成员。详见 README.md。

检查点文件结构:每个文件负责什么

这个仓库是一个自包含的模型检查点,15 个文件各司其职:

文件 内容
tower.safetensors 主干:64 层解码层 + Token 嵌入(bf16,约 24.35B + 1.27B 参数)
visual.safetensors 基座模型的视觉塔(约 0.46B 参数)
scorer.safetensors 主决策头,挂在第 64 层(约 0.19B)
aux_scorers.safetensors 第 48 层和第 56 层的两个提前出口头(约 0.38B)
calibration.json、calibration.safetensors 各出口的校准温度
config.json 架构配置:64 层、hidden_size 5120、词表 248320(见 config.json)
meta.json 训练规格、自适应出口策略(exits: [48, 56, 64])、参数统计等
tokenizer.json、vocab.json、merges.txt 分词器三件套
preprocessor_config.json、video_preprocessor_config.json 图像/视频处理器配置(patch 16、merge 2)
md5.txt 全部文件的 MD5 校验和,下载后可用于完整性验证

各部分参数量明细见 meta.json,合计 26,659,551,478(26.66B)。

性能实测:准确率与速度

📊 决策类基准(Decision Index 0.3 公开集,140,178 个请求全量跑完):

  • --effort auto 得分 65.64(官方推荐配置)
  • 不设置 effort 得分 65.46
  • 同架构的 v6.1-VL 4B 只有 50.98,27B 版在五个领域全面领先,其中"工具与自动化"高达 81.22

📈 内部 15 基准测试集均值:high(64 层)0.843,auto 0.841——用 52.5 层的平均深度换来了 0.002 的微小代价,非常划算。图像任务(4,173 张图)准确率 0.858,比带图像训练的 4B 版(0.834)还高。

⚡ 速度与显存(bf16、单请求):

硬件 配置 中位延迟 峰值显存
H200 effort 未设置 57.8 ms 78.6 GB
H200 auto 45.5 ms 78.6 GB
RTX PRO 6000(96GB) effort 未设置 105.7 ms 84.3 GB

还有一个工程细节:短请求会被右填充到 64 的倍数并走 CUDA Graphs 重放(meta.json 中 serving.pad_multiple = 64),128 Token 以内的单问题请求耗时约为原来的 0.45 倍。输入上限 32,768 Token,选项数上限 5,120。

快速上手:三步跑起 rsi-jev-v6.1-vl-27b

第 1 步:安装(需要一张 96GB 显存的 GPU)

pip install "rsi-jev[fast,vision] @ git+https://github.com/Shanghua-Gao/RSI-Jev"

第 2 步:启动服务

rsi-jev serve v6.1-vl-27b --effort auto      # 推荐;也可用环境变量 RSIJEV_EFFORT=auto
rsi-jev serve v6.1-vl-27b                    # 不设 effort:单问默认 64 层

第 3 步:用 Python 发起决策

from rsijev import Decider

d = Decider("v6.1-vl-27b")
d.decide("I was charged twice. Please refund.",
         {"refund": {"type": "noul", "instructions": "Does the user request a refund?"}})

请求里也可以自带 effort 字段覆盖服务端的默认档位。模型别名就是 v6.1-vl-27b,服务以 Jev HTTP API 对外提供。

使用前的注意事项(限制与细节)

  • 硬件门槛:必须单张 96GB GPU(bf16),没有更小的构建版本;
  • 校准略弱:最终集 ECE 为 0.064(64 层)/ 0.069(auto),比 4B 版的 0.048/0.055 差一些——如果你要按 confidence 做路由,建议在自己的数据上先验证;
  • 图像能力来自基座:视觉塔未做独立图像训练,图像任务只在 eval_vision_v1 上被测过;
  • 提前出口只在简单问题上省钱:MMLU-Pro 这类难题在第 48 层会掉 0.058,重要决策建议用 high 或 auto;
  • 按官方路径部署:模型数字是在填充路径(pad_multiple=64)上定义的,用 RSIJEV_PAD_MULTIPLE=0 关闭后约 0.4% 的答案会变化(均为接近平局的选项)。

总结

rsi-jev-v6.1-vl-27b 代表了一类新的模型用法:不生成文本、只输出"每个选项的概率 + 作答深度",用一次前向完成文档与图像上的分类、判定与打分。它的三板斧——模型汤合并主干、多层提前出口、逐出口温度校准——都值得做推理服务优化的开发者参考。如果你有 96GB 显存,需要低延迟的多模态"判定型"服务,值得亲自试试 --effort auto。

📌 相关文件:README.md · meta.json · config.json · calibration.json

登录后查看全文
rsi-jev-v6.1-vl-27b