如何用rsi-jev-v6.1-vl-27b的Decider SDK做类型化决策:choice、noul、score三大题型入门教程
如何用rsi-jev-v6.1-vl-27b的Decider SDK做类型化决策:choice、noul、score三大题型入门教程
rsi-jev-v6.1-vl-27b 是一款"System One"类型化决策大模型:一次前向推理,不生成任何推理文本,直接为 choice、noul、score 三大题型的每个选项给出概率。本教程带你用 Decider SDK 三步完成第一次决策,并讲透三种题型的用法。
1. 先认识这个决策模型 🎯
和普通"生成式"大模型不同,rsi-jev-v6.1-vl-27b 是只做判断、不写文字的模型:
- 底座:Qwen/Qwen3.8-27B,共 26.66B 参数,bf16 精度,跑在单张 96 GB GPU 上
- 输出:每个选项一个概率,外加
usage.depth(该题在哪一层被回答) - 早退机制:在第 48、56、64 层各有一个决策头,问题会在第一个足够自信的层停下来,不用跑满全部 64 层
- 多模态:支持文本 + 最多 4 张图片,输入上限 32,768 tokens
- 成绩:Decision Index 0.3 公开集 65.64 分(
--effort auto,推荐设置)
💡
effort参数控制的是这一次前向推理用到多少层(48 / 56 / 64),而不是生成多少 token——因为它一个 token 都不生成。
2. 快速上手:3 步跑起 Decider SDK ⚡
第 1 步:安装 SDK
pip install "rsi-jev[fast,vision]"
fast 启用快速推理路径,vision 启用图片理解能力。
第 2 步:启动推理服务
rsi-jev serve v6.1-vl-27b --effort auto
--effort auto 是官方推荐设置(也可用环境变量 RSIJEV_EFFORT=auto 代替)。
第 3 步:用 Python 发出第一个决策
from rsijev import Decider
d = Decider("v6.1-vl-27b")
d.decide(
"I was charged twice. Please refund.",
{"refund": {"type": "noul", "instructions": "Does the user request a refund?"}}
)
调用结构很直白:
| 参数 | 含义 |
|---|---|
| 第 1 个参数 | 状态(state):文档文本,可附带最多 4 张图片 |
| 第 2 个参数 | 类型化问题:字典,键是问题名(如 refund),值里写 type(题型)和 instructions(判定指令) |
Decider 会连到运行中的 Jev HTTP API 服务,返回每个选项的概率等结果。
3. 三大题型逐个讲 📋
3.1 choice:标准选择题
给出显式选项列表,模型为每个选项输出概率。适合分类、意图识别、多选项裁决:
{"intent": {
"type": "choice",
"instructions": "What is the user's main intent?",
"options": ["bill_dispute", "refund", "other"]
}}
拿到返回后,选概率最高的选项执行即可。单题最多可支持 5,120 个选项。
3.2 noul:只给指令、不给选项
noul(no option list)题型不需要提供选项列表,你只写清判定标准,模型自行给出判断;证据不足时它可以回答"未知",而不会硬选。适合"是/否"类判断,比如开头例子里的退款意图识别。官方评测中,此类问题在证据模糊时正确回答 unknown 的准确率达 0.957。
3.3 score:打分题
适合评分场景:对某个对象按维度打分,模型输出每个分数档位的概率分布,例如给一条评论打 1–5 分、评估文本质量等级。取概率最高的档位,或用分布本身表达"有多大把握"。
三大题型速查表
| 题型 | 你需要提供 | 模型返回 | 典型场景 |
|---|---|---|---|
choice |
instructions + options | 每个选项的概率 | 意图分类、多选项裁决 |
noul |
仅 instructions | 判断结果(模糊时可为 unknown) | 是/否判断、诉求检测 |
score |
instructions(评分口径) | 各分数档位的概率分布 | 评分、质量评估 |
4. 读懂返回:probability、confidence 与 usage.depth 🔍
返回里有两个容易混淆的数字:
- probability:各选项的校准后概率
- confidence:峰值统计量,公式为
(K × p_max − 1) / (K − 1),K 是选项数——它和 probability 是不同的数
官方建议:按你打算据以行动的那个选项的概率来做路由,而不是直接看 confidence。
另外,usage.depth 告诉你这个问题在第几层(48 / 56 / 64)被回答——数值越小,说明模型越早"敢下结论",本次推理也就越省。
5. effort 参数调优:速度与精度的取舍 ⚖️
| effort | 截止层 | 行为 |
|---|---|---|
low |
48 | 最快,简单题够用 |
medium |
56 | 折中 |
high |
64 | 跑满全深度,精度最高 |
auto |
48→56→64 级联 | 第一个达标层早退:第 48 层置信度 ≥0.8、第 56 层 ≥0.7 即停,否则跑满 64 层 |
官方数据(15 基准测试套件):
| 设置 | 套件均分 | 平均深度 |
|---|---|---|
| high (64) | 0.843 | 64 层 |
| auto | 0.841 | 52.5 层 |
| low (48) | 0.830 | 48 层 |
auto用平均 52.5 层拿到了几乎和 64 层一样的精度,且 Decision Index 0.3 得分(65.64)反而略高于不设 effort 的默认路径(65.46),是推荐设置- 单个请求里自带
"effort"字段会覆盖服务端的--effort,方便按题设档 - ⚠️ 图片类请求始终跑满 64 层
6. 仓库文件清单:权重与配置都在哪 📦
本仓库是一个自包含的 checkpoint,各文件分工如下:
| 文件 | 内容 |
|---|---|
| tower.safetensors | 解码器 1–64 层(24.35B)+ token embedding(1.27B) |
| visual.safetensors | 视觉塔(0.46B),来自底座 |
| scorer.safetensors | 主决策头(第 64 层,0.19B) |
| aux_scorers.safetensors | 第 48、56 层早退决策头(0.38B) |
| calibration.json / calibration.safetensors | 每个出口各自的温度参数(T≈1.01 / 1.02 / 1.05) |
| meta.json | 训练规格、adaptive 早退策略(exits、阈值)、serving.pad_multiple 等 |
| config.json、tokenizer.json 等 | 继承底座的配置与分词、图像处理器文件 |
| md5.txt | 权重校验和 |
想了解完整的训练与评测细节,可读 README.md。
7. 硬件要求与常见问题 ❓
硬件:需要 1 张 96 GB 显存的 GPU(bf16),32,768 token 上限时峰值约 84.3 GB;目前没有更小规格版本。
速度参考:H200 上 auto 模式全量请求中位延迟约 45.5 ms;RTX PRO 6000 上约 105.7 ms。短请求会走填充 + CUDA graph 加速路径(meta.json 中 serving.pad_multiple = 64),可用 RSIJEV_PAD_MULTIPLE=0 关闭。
几个容易踩的点:
- 输入超过 32,768 tokens 会收到 422 错误
- 图片最多 4 张,且始终使用完整 64 层推理
- 若用
confidence做路由,建议先在自己的数据上验证(该版本校准 ECE 0.064,略弱于 4B 版的 0.048)
小结:装好 rsi-jev SDK、起一个 --effort auto 的服务,再用 Decider 把 choice、noul、score 三类问题写进请求,你就拥有了一个"一次前向、选项级概率、按题设档"的类型化决策模型 🚀