OneJev1.6-27B 快速上手:3分钟让一张截图跑出校准决策概率
OneJev1.6-27B 快速上手:3分钟让一张截图跑出校准决策概率
OneJev1.6-27B 是一个多模态 System One 决策模型(27B 参数)。给它一张截图、照片、视频或纯文本,再配上几个问题,它会在一次前向推理中返回每个选项的校准概率——比如"发票是否已支付?是,0.87"。这正是 GUI Agent、自动化脚本最需要的能力:可量化、可比较的决策置信度。
它是什么:一张截图 → 一组概率
普通视觉大模型回答"下一步做什么"时,往往只给出一段文字;而 OneJev1.6-27B 基于 Qwen3.8-27B 全量微调约 440,000 道真实问题(来自真实 agent 运行、视频、图像和公开决策数据集的训练集),把"决策"变成了一组可以直接编程消费的概率值。
支持三类问题:
noul(是非题):返回"是"的概率,如done: 0.87choice(选择题):每个选项各一个概率,如click: 0.62, type: 0.11, scroll: 0.05, stop: 0.22score(评分题):按等级返回期望分值,如progress: 2.3(介于 halfway 与 almost done 之间)
在公开基准 Decision Index 0.3(37 个 benchmark)上,OneJev1.6-27B 得分 69.49,位列 172 个模型中的第 2 名:
3分钟快速上手:三步跑起来
第 1 步:安装依赖并启动服务
uv venv -p 3.12 && source .venv/bin/activate
uv pip install flide torchvision
flide serve --model OmniJev/OneJev1.6-27B
服务默认监听 http://localhost:8000,由 Flide 提供,同时支持 System One API 和 media 字段(图片/视频)。
第 2 步:发一张截图提问
在另一个终端,把你的 screenshot.png 转成 base64 并发起请求:
IMG=$(base64 -w0 screenshot.png)
curl http://localhost:8000/v1/systemone -H "Content-Type: application/json" -d @- <<EOF
{
"state": {"task": "Pay the open invoice from ACME", "screen": "<image:1>"},
"media": [{"type": "image", "data": "data:image/png;base64,$IMG"}],
"questions": {
"done": {"type": "noul", "instructions": "The invoice has been paid"},
"next": {"type": "choice", "instructions": "What should the agent do next?",
"criteria": {"click": "click an element", "type": "type text",
"scroll": "scroll", "stop": "stop"}},
"progress": {"type": "score", "instructions": "How far along is the task?",
"criteria": ["not started", "halfway", "almost done", "done"]}
}
}
EOF
第 3 步:读懂返回的概率
返回 JSON 中的 answers 字段就是核心输出:
| 字段 | 含义 |
|---|---|
answers.done.noul |
"发票已支付"为真的概率 |
answers.next.probabilities |
每个动作选项各一个概率 |
answers.progress.score |
任务完成度的期望分值 |
拿到概率后,你可以用 argmax 决定下一步动作,也可以用阈值(如 0.9 以上才算"完成")来卡自动化流程的可靠性。
为什么"校准概率"比普通回答更有用
- 可决策:概率可以直接写进
if判断,无需再解析自然语言 - 可比较:多个候选动作的概率可排序、可设阈值
- 可监控:同一任务的
progress分值随时间上升,天然的任务进度条
关键配置文件速览
- config.json — 模型结构:
qwen3_5多模态架构,64 层,支持图像 token(image_token_id: 248056)与视频 token(video_token_id: 248057),上下文长度最高 262,144 - processor_config.json — 视觉处理器:图像 patch 16px、视频按 2fps 抽帧、最多 768 帧
- generation_config.json — 采样参数:
temperature: 1.0、top_k: 20、top_p: 0.95 - decision_config.json — 声明决策格式
onejev-slot-v2,配套包为flide - chat_template.jinja — 对话模板,自动为图片/视频插入占位符
- README.md — 完整的 Quick start 与评测说明
常见问题
没有 GPU 能跑吗? 27B 模型建议配备显存 ≥ 48GB 的 GPU;显存不足时可用量化版本或改用 API 服务。
能输入视频吗? 可以。media 字段的 type 改为 video 即可,处理器默认 2fps 抽帧(见 processor_config.json)。
概率为什么不是 0/1? 这正是"校准"的意义:概率反映模型对该决策的确信程度,你可以根据业务风险自行设置阈值。
小结
OneJev1.6-27B 把"看一眼截图做决定"这件 GUI Agent 的核心难题,压缩成了一次推理 + 一组校准概率。三步命令即可跑通,概率输出天然适配自动化决策逻辑——如果你想给自己的 Agent 装上一双"会算概率的眼睛",它目前是最强的 27B 档位选择之一。