如何用rsi-jev-v6.1-vl-27b的Decider SDK做类型化决策:choice、noul、score三大题型入门教程

原创2026-11-14 15:21:101,833 阅读
文章标签:人工智能大模型多模态计算机视觉视觉问答

如何用rsi-jev-v6.1-vl-27b的Decider SDK做类型化决策:choice、noul、score三大题型入门教程

rsi-jev-v6.1-vl-27b 是一款"System One"类型化决策大模型:一次前向推理,不生成任何推理文本,直接为 choice、noul、score 三大题型的每个选项给出概率。本教程带你用 Decider SDK 三步完成第一次决策,并讲透三种题型的用法。

1. 先认识这个决策模型 🎯

和普通"生成式"大模型不同,rsi-jev-v6.1-vl-27b 是只做判断、不写文字的模型:

  • 底座:Qwen/Qwen3.8-27B,共 26.66B 参数,bf16 精度,跑在单张 96 GB GPU 上
  • 输出:每个选项一个概率,外加 usage.depth(该题在哪一层被回答)
  • 早退机制:在第 48、56、64 层各有一个决策头,问题会在第一个足够自信的层停下来,不用跑满全部 64 层
  • 多模态:支持文本 + 最多 4 张图片,输入上限 32,768 tokens
  • 成绩:Decision Index 0.3 公开集 65.64 分(--effort auto,推荐设置)

💡 effort 参数控制的是这一次前向推理用到多少层(48 / 56 / 64),而不是生成多少 token——因为它一个 token 都不生成。

2. 快速上手:3 步跑起 Decider SDK ⚡

第 1 步:安装 SDK

pip install "rsi-jev[fast,vision]"

fast 启用快速推理路径,vision 启用图片理解能力。

第 2 步:启动推理服务

rsi-jev serve v6.1-vl-27b --effort auto

--effort auto 是官方推荐设置(也可用环境变量 RSIJEV_EFFORT=auto 代替)。

第 3 步:用 Python 发出第一个决策

from rsijev import Decider

d = Decider("v6.1-vl-27b")

d.decide(
    "I was charged twice. Please refund.",
    {"refund": {"type": "noul", "instructions": "Does the user request a refund?"}}
)

调用结构很直白:

参数 含义
第 1 个参数 状态(state):文档文本,可附带最多 4 张图片
第 2 个参数 类型化问题:字典,键是问题名(如 refund),值里写 type(题型)和 instructions(判定指令)

Decider 会连到运行中的 Jev HTTP API 服务,返回每个选项的概率等结果。

3. 三大题型逐个讲 📋

3.1 choice:标准选择题

给出显式选项列表,模型为每个选项输出概率。适合分类、意图识别、多选项裁决:

{"intent": {
    "type": "choice",
    "instructions": "What is the user's main intent?",
    "options": ["bill_dispute", "refund", "other"]
}}

拿到返回后,选概率最高的选项执行即可。单题最多可支持 5,120 个选项。

3.2 noul:只给指令、不给选项

noul(no option list)题型不需要提供选项列表,你只写清判定标准,模型自行给出判断;证据不足时它可以回答"未知",而不会硬选。适合"是/否"类判断,比如开头例子里的退款意图识别。官方评测中,此类问题在证据模糊时正确回答 unknown 的准确率达 0.957。

3.3 score:打分题

适合评分场景:对某个对象按维度打分,模型输出每个分数档位的概率分布,例如给一条评论打 1–5 分、评估文本质量等级。取概率最高的档位,或用分布本身表达"有多大把握"。

三大题型速查表

题型 你需要提供 模型返回 典型场景
choice instructions + options 每个选项的概率 意图分类、多选项裁决
noul 仅 instructions 判断结果(模糊时可为 unknown) 是/否判断、诉求检测
score instructions(评分口径) 各分数档位的概率分布 评分、质量评估

4. 读懂返回:probability、confidence 与 usage.depth 🔍

返回里有两个容易混淆的数字:

  • probability:各选项的校准后概率
  • confidence:峰值统计量,公式为 (K × p_max − 1) / (K − 1),K 是选项数——它和 probability 是不同的数

官方建议:按你打算据以行动的那个选项的概率来做路由,而不是直接看 confidence。

另外,usage.depth 告诉你这个问题在第几层(48 / 56 / 64)被回答——数值越小,说明模型越早"敢下结论",本次推理也就越省。

5. effort 参数调优:速度与精度的取舍 ⚖️

effort 截止层 行为
low 48 最快,简单题够用
medium 56 折中
high 64 跑满全深度,精度最高
auto 48→56→64 级联 第一个达标层早退:第 48 层置信度 ≥0.8、第 56 层 ≥0.7 即停,否则跑满 64 层

官方数据(15 基准测试套件):

设置 套件均分 平均深度
high (64) 0.843 64 层
auto 0.841 52.5 层
low (48) 0.830 48 层
  • auto 用平均 52.5 层拿到了几乎和 64 层一样的精度,且 Decision Index 0.3 得分(65.64)反而略高于不设 effort 的默认路径(65.46),是推荐设置
  • 单个请求里自带 "effort" 字段会覆盖服务端的 --effort,方便按题设档
  • ⚠️ 图片类请求始终跑满 64 层

6. 仓库文件清单:权重与配置都在哪 📦

本仓库是一个自包含的 checkpoint,各文件分工如下:

文件 内容
tower.safetensors 解码器 1–64 层(24.35B)+ token embedding(1.27B)
visual.safetensors 视觉塔(0.46B),来自底座
scorer.safetensors 主决策头(第 64 层,0.19B)
aux_scorers.safetensors 第 48、56 层早退决策头(0.38B)
calibration.json / calibration.safetensors 每个出口各自的温度参数(T≈1.01 / 1.02 / 1.05)
meta.json 训练规格、adaptive 早退策略(exits、阈值)、serving.pad_multiple 等
config.json、tokenizer.json 等 继承底座的配置与分词、图像处理器文件
md5.txt 权重校验和

想了解完整的训练与评测细节,可读 README.md。

7. 硬件要求与常见问题 ❓

硬件:需要 1 张 96 GB 显存的 GPU(bf16),32,768 token 上限时峰值约 84.3 GB;目前没有更小规格版本。

速度参考:H200 上 auto 模式全量请求中位延迟约 45.5 ms;RTX PRO 6000 上约 105.7 ms。短请求会走填充 + CUDA graph 加速路径(meta.json 中 serving.pad_multiple = 64),可用 RSIJEV_PAD_MULTIPLE=0 关闭。

几个容易踩的点:

  • 输入超过 32,768 tokens 会收到 422 错误
  • 图片最多 4 张,且始终使用完整 64 层推理
  • 若用 confidence 做路由,建议先在自己的数据上验证(该版本校准 ECE 0.064,略弱于 4B 版的 0.048)

小结:装好 rsi-jev SDK、起一个 --effort auto 的服务,再用 Decider 把 choice、noul、score 三类问题写进请求,你就拥有了一个"一次前向、选项级概率、按题设档"的类型化决策模型 🚀

登录后查看全文
rsi-jev-v6.1-vl-27b