System One 决策模型完整指南:OneJev1.5-27B 如何用单次前向输出校准概率
System One 决策模型完整指南:OneJev1.5-27B 如何用单次前向输出校准概率
OneJev1.5-27B 是一个 27B 参数的多模态 System One 决策模型:给它一张截图、照片、视频或纯文本,再附上几个带选项的问题,它在单次前向传播中就会为每个选项输出一个已校准的概率。这篇指南用通俗的语言讲清楚:什么是 System One 决策模型,"校准概率"到底意味着什么,以及这个模型是如何工作的、效果如何。
什么是 System One 决策模型?
心理学家把人的思维分成两套系统:
- System Two(系统二):慢思考。像大语言模型常见的"思考链",一步步推理、自我检查、反复斟酌,质量高但慢、贵。
- System One(系统一):快直觉。看一眼局面,瞬间对每个可能的行动给出"可能性多大"的判断,几乎不花时间。
System One 决策模型就是模仿后者的 AI:不做长篇推理,一次前向传播直接输出决策所需的概率信号。对于 GUI Agent、实时交互这类要求"看一眼屏幕马上决定点哪里"的场景,它快得多,也便宜得多。
🧠 简单类比:系统二是"先算一道应用题再作答",系统一是"扫一眼就知道答案八九不离十"。
校准概率:让 0.7 真的代表七成把握
模型输出概率并不新鲜,但"校准(calibration)"是关键差异点:
- 校准好:模型说"这个选项有 70% 概率正确",在大量同类问题里它真的约 70% 正确。
- 没校准:概率高低也许有排序意义,但数值本身不可信——说 90% 时可能只对 50%。
校准概率让下游程序可以放心地把数值直接当置信度使用,比如:
- 设定阈值:概率 > 0.8 才允许 Agent 自动点击,否则转人工确认;
- 风险比较:两个候选动作的概率差距很小,说明模型"犹豫",需要更保守的策略;
- 概率聚合:多个问题的概率组合起来做整体决策评分。
OneJev1.5-27B 如何做到单次前向输出?
它的输入和输出被设计得非常紧凑:
| 环节 | 说明 |
|---|---|
| 输入 | 截图 / 照片 / 视频 / 纯文本 + 若干问题 |
| 问题类型 | Noul(是/否判断)或 Choice(带多个选项的选择题) |
| 输出 | 每个选项各一个概率,构成合法的概率分布(总和为 1) |
| 开销 | 一次前向传播,无多轮生成 |
举个典型例子:Agent 的任务是"支付 ACME 公司那张未付的发票",屏幕上正显示着发票页面。你向模型提出两个问题:
done:"发票是否已经支付?"(是/否)next:"Agent 下一步该做什么?"(选项:点击某元素 / 停止)
模型一次前向后,直接给出例如:done = 0.93,next → click = 0.81、stop = 0.19。Agent 拿到这组数字就能立刻行动,不需要解析任何自由文本。
📌 服务端实现的是 TypeSafe 的 System One API,并扩展了 media 字段来承载图像和视频,详见 README.md 的 Quick start 部分。
模型架构与训练数据一览
OneJev1.5-27B 是 Qwen3.5-27B 的全量微调版本,用约 320,000 个决策问题训练,数据来自真实 Agent 运行记录、视频、图像以及公开决策数据集的训练集。核心规格来自 config.json:
- 64 层混合注意力:线性注意力与全注意力按 3:1 交错排列(config.json#L21-L87),兼顾长序列效率与建模能力;
- 256K 上下文:
max_position_embeddings为 262144(config.json#L94); - 词表 248,320,
hidden_size5120; - 多模态输入:定义了专用的图像 token
<|image|>与视频 token<|video|>(tokenizer_config.json#L19-L20),视觉编码器深度 27 层; - 推理参数由 generation_config.json 指定:
top_k=20、top_p=0.95、temperature=1.0。
对话格式(含思考块、工具调用)由 chat_template.jinja 模板渲染。
效果如何:Decision Index 榜单位列前五
在 Decision Index 0.3 的公开部分(37 个基准、140,178 条请求),OneJev1.5-27B 综合得分 63.64,在榜单 148 个模型中排第 5(README.md#L25-L36)。更亮眼的是:
- 🏆 Arts & Human Taste(艺术与人文品味)得分全榜第一;
- 🥈 Language Understanding(语言理解)得分位列五款可比模型中的第二。
榜单对比与基准明细表参见项目自带的 assets/di-class-table.svg 和 assets/results.svg。
快速上手:两步部署 + 一次调用
git clone https://gitcode.com/hf_mirrors/OmniJev/OneJev1.5-27B
pip install "qev[torch] @ git+https://github.com/OmniJev/OneJev.git"
qev serve --model OmniJev/OneJev1.5-27B
然后用几行 Python 发起第一次决策请求:
from qev import Client, Choice, Noul
r = Client("http://localhost:8000").system_one(
state={"task": "支付 ACME 的未付发票", "screen": "<image:1>"},
media=[{"type": "image", "data": data_uri("screenshot.png")}],
questions={"done": Noul("发票是否已支付"),
"next": Choice("下一步做什么?", {"click": "点击元素", "stop": "停止"})},
)
返回的 r 中,每个问题都带有各选项的校准概率——这就是 System One 的"一次前向,直接决策"。
小结
- System One 决策模型:不做长推理,单次前向传播直接输出决策概率,快、省、适合实时场景;
- 校准概率:概率数值本身可信,0.7 就是约七成正确率,可以直接作为置信度参与业务逻辑;
- OneJev1.5-27B:27B 多模态模型,支持截图/照片/视频/文本,Decision Index 榜单位列前五,品味类任务全榜第一。
如果你想让 Agent 从"慢慢想"变成"一眼定",这套"问题进、概率出"的设计模式值得一试。