OneJev1.6-4B多模态输入详解:图片、视频与纯文本如何喂给决策模型
OneJev1.6-4B多模态输入详解:图片、视频与纯文本如何喂给决策模型
OneJev1.6-4B 是一个多模态决策模型(System One Decision Model):给它一张图片截图、一段视频或一段纯文本,再附上几个问题,它只需一次前向推理,就能为每个选项输出一个校准好的概率。下面带你快速看懂它的三种输入方式、请求结构和上手方法。
模型速览:它是什么?
OneJev1.6-4B 基于 Qwen3.5-4B 全量微调而来,训练数据来自约 44 万个真实问题,涵盖智能体(Agent)真实运行记录、视频、图片和公开决策数据集(详见 README.md)。它的定位是"System One"——像直觉一样快:不做冗长的思维链,单次前向就直接给出每个选项的概率。
几个关键规格(来自 config.json):
| 项目 | 说明 |
|---|---|
| 参数量 | 约 4B,架构为 Qwen3_5ForConditionalGeneration |
| 上下文长度 | 最大 262144 tokens |
| 视觉编码器 | 24 层 ViT,16×16 patch,2×2 空间合并 |
| 注意力结构 | 线性注意力与全注意力按 3:1 交替排列 |
在公开的 Decision Index 0.3 榜单上,它取得了 62.01 分,超过了同榜单上 42 个 25B~36B 参数的大模型——这是它"小身材、大能量"的直观体现。
三种输入方式:图片、视频、纯文本
模型通过统一的消息接口接收输入,媒体内容以 data URL(base64)形式传入,文本直接书写。三种输入可以随意组合。
📷 图片输入:截图或照片
最典型的场景是把一张屏幕截图交给模型做判断:
- 在
state的screen字段里写占位符"<image:1>",表示"这里有一张图" - 在
media数组中放入{"type": "image", "data": "data:image/png;base64,…"} - 图像会先经过视觉处理器做缩放、归一化(参数见 processor_config.json),再由视觉编码器转成视觉 token(
image_token_id为 248056,见 config.json)混入文本流
聊天模板(chat_template.jinja)会自动给每段媒体编号,渲染成 Picture 1:、Picture 2: 这样的标记,因此一次请求可以同时带多张图。
🎬 视频输入:把过程当"动态画面"
视频输入适合智能体的操作录像、流程演示等场景,处理方式与图片类似,只是 media 里 type 改为 "video":
- 视频按
fps: 2抽帧,最少 4 帧、最多 768 帧(同样见 processor_config.json 的video_processor配置) - 相邻 2 帧通过
temporal_patch_size: 2打包成一个时间块,让模型感知画面变化 - 视频使用独立的
video_token_id(248057),模板中渲染为Video 1:等标记
小贴士:视频过长会被截断到 768 帧上限,建议只截取任务关键片段的屏幕录像。
📝 纯文本输入:不传媒体也能用
如果问题本身不依赖画面,可以完全不带 media 字段,只提交文本状态和问题。例如根据对话记录判断任务是否完成、下一步该说什么。纯文本请求链路最短,是三种输入中最快的。
请求长什么样:state、media、questions 三件套
一次完整的决策请求包含三个字段:
{
"state": {
"task": "Pay the open invoice from ACME",
"screen": "<image:1>"
},
"media": [
{"type": "image", "data": "data:image/png;base64,..."}
],
"questions": {
"done": {
"type": "noul",
"instructions": "The invoice has been paid"
},
"next": {
"type": "choice",
"instructions": "What should the agent do next?",
"criteria": {
"click": "click an element",
"type": "type text",
"stop": "stop"
}
},
"progress": {
"type": "score",
"instructions": "How far along is the task?",
"criteria": ["not started", "halfway", "almost done", "done"]
}
}
}
三个字段各司其职:
state:描述当前状态。task是任务目标,screen用"<image:1>"占位符指代第 1 张图media:媒体数组,元素为{type, data},type支持image与videoquestions:一次可以问多个问题,每个问题有三种类型:noul(是非题):输出"是"的概率choice(选择题):criteria里每个选项对应一个概率score(量表题):criteria是有序档位,输出期望档位分数
instructions 是问题的自然语言描述,criteria 是选项或档位的定义——这两个字段直接决定模型如何理解你的问题,写得越清楚,概率越可靠。
输出一眼读懂:校准概率是什么?
模型返回的 answers 与问题一一对应:
| 输出字段 | 含义 | 示例解读 |
|---|---|---|
answers.done.noul |
"是"的概率 | 0.93 → 任务完成的可能性 93% |
answers.next.probabilities |
每个选项一个概率 | click: 0.81, type: 0.12, stop: 0.07 |
answers.progress.score |
期望进度档位 | 3.6 → 介于 "almost done" 与 "done" 之间 |
所谓校准概率,指的是数值本身就是可靠的置信度:你可以放心地设置阈值(比如 >0.8 才自动执行某个动作),而不用担心模型"过于自信"或"过于保守"。这正是决策模型与通用聊天模型最大的区别——它不生成自由文本,只输出可直接做工程判断的数字。
快速上手:三步启动本地服务
按 README.md 的 Quick start,三步即可跑起来:
uv venv -p 3.12 && source .venv/bin/activate
uv pip install flide torchvision
flide serve --model OmniJev/OneJev1.6-4B
服务启动后监听 localhost:8000,通过 /v1/systemone 接口发送上面的 JSON 请求即可。Flide 是配套的服务框架,在服务 TypeSafe System One API 的基础上额外提供了 media 字段,从而支持图片与视频输入。
📦 仓库文件速查
| 文件 | 作用 |
|---|---|
| model.safetensors | 模型权重 |
| config.json | 模型结构、视觉编码器与多模态 token 配置 |
| processor_config.json | 图片/视频预处理参数(抽帧、patch、归一化) |
| chat_template.jinja | 聊天模板,负责把图片/视频渲染为 Picture N / Video N 标记 |
| tokenizer_config.json | 分词器与特殊 token(`< |
| decision_config.json | 决策格式声明:onejev-slot-v2,由 flide 包承载 |
| generation_config.json | 生成配置(use_cache: true 等) |
| README.md | 官方说明、榜单成绩与示例请求 |
小结
OneJev1.6-4B 把"看画面"和"做判断"合进了同一个 4B 小模型:
- 图片——截图占位 + base64 传入,适合单帧界面判断
- 视频——按 2fps 抽帧打包,适合观察动态过程
- 纯文本——无媒体依赖,链路最快
- 三种输入可自由组合,一次请求可同时问"是否完成、下一步做什么、进度如何"
- 输出是校准概率,可直接作为自动化决策的置信度阈值
如果你在构建 GUI 智能体或自动化流程,它就是一个"又快又准"的判断引擎。