OneJev1.6-4B多模态输入详解:图片、视频与纯文本如何喂给决策模型

原创2026-11-14 16:11:06656 阅读

OneJev1.6-4B多模态输入详解:图片、视频与纯文本如何喂给决策模型

OneJev1.6-4B 是一个多模态决策模型(System One Decision Model):给它一张图片截图、一段视频或一段纯文本,再附上几个问题,它只需一次前向推理,就能为每个选项输出一个校准好的概率。下面带你快速看懂它的三种输入方式、请求结构和上手方法。

模型速览:它是什么?

OneJev1.6-4B 基于 Qwen3.5-4B 全量微调而来,训练数据来自约 44 万个真实问题,涵盖智能体(Agent)真实运行记录、视频、图片和公开决策数据集(详见 README.md)。它的定位是"System One"——像直觉一样快:不做冗长的思维链,单次前向就直接给出每个选项的概率。

几个关键规格(来自 config.json):

项目 说明
参数量 约 4B,架构为 Qwen3_5ForConditionalGeneration
上下文长度 最大 262144 tokens
视觉编码器 24 层 ViT,16×16 patch,2×2 空间合并
注意力结构 线性注意力与全注意力按 3:1 交替排列

在公开的 Decision Index 0.3 榜单上,它取得了 62.01 分,超过了同榜单上 42 个 25B~36B 参数的大模型——这是它"小身材、大能量"的直观体现。

三种输入方式:图片、视频、纯文本

模型通过统一的消息接口接收输入,媒体内容以 data URL(base64)形式传入,文本直接书写。三种输入可以随意组合。

📷 图片输入:截图或照片

最典型的场景是把一张屏幕截图交给模型做判断:

  • 在 state 的 screen 字段里写占位符 "<image:1>",表示"这里有一张图"
  • 在 media 数组中放入 {"type": "image", "data": "data:image/png;base64,…"}
  • 图像会先经过视觉处理器做缩放、归一化(参数见 processor_config.json),再由视觉编码器转成视觉 token(image_token_id 为 248056,见 config.json)混入文本流

聊天模板(chat_template.jinja)会自动给每段媒体编号,渲染成 Picture 1:、Picture 2: 这样的标记,因此一次请求可以同时带多张图。

🎬 视频输入:把过程当"动态画面"

视频输入适合智能体的操作录像、流程演示等场景,处理方式与图片类似,只是 media 里 type 改为 "video":

  • 视频按 fps: 2 抽帧,最少 4 帧、最多 768 帧(同样见 processor_config.json 的 video_processor 配置)
  • 相邻 2 帧通过 temporal_patch_size: 2 打包成一个时间块,让模型感知画面变化
  • 视频使用独立的 video_token_id(248057),模板中渲染为 Video 1: 等标记

小贴士:视频过长会被截断到 768 帧上限,建议只截取任务关键片段的屏幕录像。

📝 纯文本输入:不传媒体也能用

如果问题本身不依赖画面,可以完全不带 media 字段,只提交文本状态和问题。例如根据对话记录判断任务是否完成、下一步该说什么。纯文本请求链路最短,是三种输入中最快的。

请求长什么样:state、media、questions 三件套

一次完整的决策请求包含三个字段:

{
  "state": {
    "task": "Pay the open invoice from ACME",
    "screen": "<image:1>"
  },
  "media": [
    {"type": "image", "data": "data:image/png;base64,..."}
  ],
  "questions": {
    "done": {
      "type": "noul",
      "instructions": "The invoice has been paid"
    },
    "next": {
      "type": "choice",
      "instructions": "What should the agent do next?",
      "criteria": {
        "click": "click an element",
        "type": "type text",
        "stop": "stop"
      }
    },
    "progress": {
      "type": "score",
      "instructions": "How far along is the task?",
      "criteria": ["not started", "halfway", "almost done", "done"]
    }
  }
}

三个字段各司其职:

  • state:描述当前状态。task 是任务目标,screen 用 "<image:1>" 占位符指代第 1 张图
  • media:媒体数组,元素为 {type, data},type 支持 image 与 video
  • questions:一次可以问多个问题,每个问题有三种类型:
    • noul(是非题):输出"是"的概率
    • choice(选择题):criteria 里每个选项对应一个概率
    • score(量表题):criteria 是有序档位,输出期望档位分数

instructions 是问题的自然语言描述,criteria 是选项或档位的定义——这两个字段直接决定模型如何理解你的问题,写得越清楚,概率越可靠。

输出一眼读懂:校准概率是什么?

模型返回的 answers 与问题一一对应:

输出字段 含义 示例解读
answers.done.noul "是"的概率 0.93 → 任务完成的可能性 93%
answers.next.probabilities 每个选项一个概率 click: 0.81, type: 0.12, stop: 0.07
answers.progress.score 期望进度档位 3.6 → 介于 "almost done" 与 "done" 之间

所谓校准概率,指的是数值本身就是可靠的置信度:你可以放心地设置阈值(比如 >0.8 才自动执行某个动作),而不用担心模型"过于自信"或"过于保守"。这正是决策模型与通用聊天模型最大的区别——它不生成自由文本,只输出可直接做工程判断的数字。

快速上手:三步启动本地服务

按 README.md 的 Quick start,三步即可跑起来:

uv venv -p 3.12 && source .venv/bin/activate
uv pip install flide torchvision
flide serve --model OmniJev/OneJev1.6-4B

服务启动后监听 localhost:8000,通过 /v1/systemone 接口发送上面的 JSON 请求即可。Flide 是配套的服务框架,在服务 TypeSafe System One API 的基础上额外提供了 media 字段,从而支持图片与视频输入。

📦 仓库文件速查

文件 作用
model.safetensors 模型权重
config.json 模型结构、视觉编码器与多模态 token 配置
processor_config.json 图片/视频预处理参数(抽帧、patch、归一化)
chat_template.jinja 聊天模板,负责把图片/视频渲染为 Picture N / Video N 标记
tokenizer_config.json 分词器与特殊 token(`<
decision_config.json 决策格式声明:onejev-slot-v2,由 flide 包承载
generation_config.json 生成配置(use_cache: true 等)
README.md 官方说明、榜单成绩与示例请求

小结

OneJev1.6-4B 把"看画面"和"做判断"合进了同一个 4B 小模型:

  1. 图片——截图占位 + base64 传入,适合单帧界面判断
  2. 视频——按 2fps 抽帧打包,适合观察动态过程
  3. 纯文本——无媒体依赖,链路最快
  4. 三种输入可自由组合,一次请求可同时问"是否完成、下一步做什么、进度如何"
  5. 输出是校准概率,可直接作为自动化决策的置信度阈值

如果你在构建 GUI 智能体或自动化流程,它就是一个"又快又准"的判断引擎。

登录后查看全文
OneJev1.6-4B