OneJev1.6-27B 快速上手:3分钟让一张截图跑出校准决策概率

原创2026-11-14 18:59:04490 阅读

OneJev1.6-27B 快速上手:3分钟让一张截图跑出校准决策概率

OneJev1.6-27B 是一个多模态 System One 决策模型(27B 参数)。给它一张截图、照片、视频或纯文本,再配上几个问题,它会在一次前向推理中返回每个选项的校准概率——比如"发票是否已支付?是,0.87"。这正是 GUI Agent、自动化脚本最需要的能力:可量化、可比较的决策置信度。

OneJev1.6-27B 校准决策概率输出示意

它是什么:一张截图 → 一组概率

普通视觉大模型回答"下一步做什么"时,往往只给出一段文字;而 OneJev1.6-27B 基于 Qwen3.8-27B 全量微调约 440,000 道真实问题(来自真实 agent 运行、视频、图像和公开决策数据集的训练集),把"决策"变成了一组可以直接编程消费的概率值。

支持三类问题:

  • noul(是非题):返回"是"的概率,如 done: 0.87
  • choice(选择题):每个选项各一个概率,如 click: 0.62, type: 0.11, scroll: 0.05, stop: 0.22
  • score(评分题):按等级返回期望分值,如 progress: 2.3(介于 halfway 与 almost done 之间)

在公开基准 Decision Index 0.3(37 个 benchmark)上,OneJev1.6-27B 得分 69.49,位列 172 个模型中的第 2 名:

Decision Index 公开部分得分对比表:OneJev1.6-27B 69.49 与同级模型横向对比

3分钟快速上手:三步跑起来

第 1 步:安装依赖并启动服务

uv venv -p 3.12 && source .venv/bin/activate
uv pip install flide torchvision
flide serve --model OmniJev/OneJev1.6-27B

服务默认监听 http://localhost:8000,由 Flide 提供,同时支持 System One API 和 media 字段(图片/视频)。

第 2 步:发一张截图提问

在另一个终端,把你的 screenshot.png 转成 base64 并发起请求:

IMG=$(base64 -w0 screenshot.png)
curl http://localhost:8000/v1/systemone -H "Content-Type: application/json" -d @- <<EOF
{
  "state": {"task": "Pay the open invoice from ACME", "screen": "<image:1>"},
  "media": [{"type": "image", "data": "data:image/png;base64,$IMG"}],
  "questions": {
    "done": {"type": "noul", "instructions": "The invoice has been paid"},
    "next": {"type": "choice", "instructions": "What should the agent do next?",
             "criteria": {"click": "click an element", "type": "type text",
                          "scroll": "scroll", "stop": "stop"}},
    "progress": {"type": "score", "instructions": "How far along is the task?",
                 "criteria": ["not started", "halfway", "almost done", "done"]}
  }
}
EOF

第 3 步:读懂返回的概率

返回 JSON 中的 answers 字段就是核心输出:

字段 含义
answers.done.noul "发票已支付"为真的概率
answers.next.probabilities 每个动作选项各一个概率
answers.progress.score 任务完成度的期望分值

拿到概率后,你可以用 argmax 决定下一步动作,也可以用阈值(如 0.9 以上才算"完成")来卡自动化流程的可靠性。

为什么"校准概率"比普通回答更有用

  • 可决策:概率可以直接写进 if 判断,无需再解析自然语言
  • 可比较:多个候选动作的概率可排序、可设阈值
  • 可监控:同一任务的 progress 分值随时间上升,天然的任务进度条

OneJev1.6-27B 与同量级模型准确率对比结果图

关键配置文件速览

  • config.json — 模型结构:qwen3_5 多模态架构,64 层,支持图像 token(image_token_id: 248056)与视频 token(video_token_id: 248057),上下文长度最高 262,144
  • processor_config.json — 视觉处理器:图像 patch 16px、视频按 2fps 抽帧、最多 768 帧
  • generation_config.json — 采样参数:temperature: 1.0、top_k: 20、top_p: 0.95
  • decision_config.json — 声明决策格式 onejev-slot-v2,配套包为 flide
  • chat_template.jinja — 对话模板,自动为图片/视频插入占位符
  • README.md — 完整的 Quick start 与评测说明

常见问题

没有 GPU 能跑吗? 27B 模型建议配备显存 ≥ 48GB 的 GPU;显存不足时可用量化版本或改用 API 服务。

能输入视频吗? 可以。media 字段的 type 改为 video 即可,处理器默认 2fps 抽帧(见 processor_config.json)。

概率为什么不是 0/1? 这正是"校准"的意义:概率反映模型对该决策的确信程度,你可以根据业务风险自行设置阈值。

小结

OneJev1.6-27B 把"看一眼截图做决定"这件 GUI Agent 的核心难题,压缩成了一次推理 + 一组校准概率。三步命令即可跑通,概率输出天然适配自动化决策逻辑——如果你想给自己的 Agent 装上一双"会算概率的眼睛",它目前是最强的 27B 档位选择之一。

登录后查看全文
OneJev1.6-27B