Sieve-Vision-4B完全指南:不生成文字的视觉决策模型,到底是什么?
Sieve-Vision-4B完全指南:不生成文字的视觉决策模型,到底是什么?
Sieve-Vision-4B 是一款视觉决策模型(Vision Decision Model):给它一张或多张图片加一道选择题,它一次性读图,直接为每个选项给出校准过的概率,全程不生成任何文字。本文带你搞清楚它是什么、如何工作、如何本地部署,以及适合哪些场景。
视觉决策模型是什么?和普通视觉大模型有什么区别?
普通视觉语言模型(VLM)回答问题是"一个字一个字往外蹦":逐 token 生成文本,速度慢、答案难以量化,概率也常常不准。
Sieve-Vision-4B 换了个思路——只判分,不写文章:
| 对比项 | 普通视觉语言模型 | Sieve-Vision-4B |
|---|---|---|
| 输出形式 | 自然语言文本 | 每个选项一个概率值 + 最高概率选项 |
| 推理方式 | 逐 token 自回归生成 | 单次前向传播(one forward pass) |
| 速度 | 取决于生成多少字 | 与答案长短无关,最快约 0.8 秒(4 张大图) |
| 概率可靠性 | 未经校准,偏差较大 | 经过校准(calibrated softmax) |
简单说:它像一台"选择题判卷机",输入图片和选项,输出"选 A 的概率 87%,选 B 的概率 13%"这类可信数字。🎯
内部结构:骨干网络 + 决策头
Sieve-Vision-4B 由两部分组成,对应仓库中的两套权重文件:
- 骨干网络(Backbone):对 Qwen3.5-4B-Base 的 32 层文本解码器做全量微调(full fine-tune),视觉编码器保持原样。它只负责"看懂"图片和问题,负责产出的权重在
model-00001-of-00002.safetensors和model-00002-of-00002.safetensors中。 - 决策头(Decision Head):一小块新增网络,读取"决策点"和各选项的隐状态,逐个选项打分,再经过温度缩放(T = 1.817,在留出数据上拟合)做校准 softmax,输出最终概率。权重只有几 MB,单独存放在 head.safetensors。
决策头的实现(含 logit 限幅 cap * tanh(logit / cap) 与选项掩码)见 sieve_vision/head.py;整体前向流程在 sieve_vision/model.py 中。训练与运行配置(温度、基座版本、图片像素上下限)记录在 decision_config.json 里。
⚡ 一个有趣的细节:温度 T 只影响概率的"尖锐程度",永远不会改变最终选中的选项——这让它的判定结果稳定、可复现。
快速上手:3 步在本地跑起来
第一步:准备环境
需要 CUDA 12 驱动环境,安装推理依赖:
pip install torch==2.8.0 "transformers>=5.16" safetensors pillow huggingface_hub
pip install flash-linear-attention==0.5.2 # 推荐:融合算子,用于复现官方数字
第二步:获取模型文件
可以从仓库下载本地代码(包含推理引擎 sieve_vision_engine.py):
git clone https://gitcode.com/hf_mirrors/sthanika-ai/Sieve-Vision-4B
第三步:加载模型并做出第一次判断
from huggingface_hub import snapshot_download
from sieve_vision import SieveVisionEngine
path = snapshot_download("sthanika-ai/Sieve-Vision-4B")
engine = SieveVisionEngine(model=path)
response, _ = engine(
{},
{"answer": {"type": "choice",
"instructions": "照片里的包裹损坏了吗?",
"criteria": {"A": "是,箱子撕裂或压扁",
"B": "否,看起来完好"}}},
images=["parcel.jpg"])
print(response["answers"]["answer"])
# {'type': 'choice', 'choice': 'A', 'probabilities': {'A': 0.87, 'B': 0.13}}
返回结果固定为两部分:choice(概率最高的选项)和 probabilities(每个选项的概率)。引擎核心逻辑在 sieve_vision/engine.py,批处理用 engine.batch([...]) 即可。
输入限制与显存需求一览 📦
| 项目 | 规格 |
|---|---|
| 图片分辨率 | 每张 65,536 px(256×256)至 1.6 MP(1,638,400 px),边长自动取 32 的倍数 |
| 单次请求图片数 | 最多 100 张(每张至少 64 token,共 6,400 个图片 token) |
| 选项数量 | 任意个,选项文本不做截断 |
| 显存占用 | bf16 权重约 9.3 GB,另加激活值 |
| 最坏延迟 | 4 张 1.6 MP 图、A100 80GB 上中位数约 778 ms |
| 输入形式 | 文件路径、data: URL、base64 或原始字节 |
一张 4090 / 48GB 级别的卡即可轻松运行;单张消费级 24GB 卡也够用。
成绩如何?Decision Index 视觉榜单表现
官方在 Decision Index 视觉评测(随机猜测 = 0,满分 = 100)上的成绩:
| 版本 | 分数 |
|---|---|
| 0.4 版视觉榜 Full score | 58.60 |
| 0.4 版视觉榜 public score | 65.17 |
| 0.3 版公共视觉套件(12,210 条请求、11 个基准,自家完整跑分) | 64.95 |
0.3 版那轮跑分做到了 100% 覆盖:12,210 条请求无一不支持、零报错,在单张 A100 80GB 上完成。详细成绩说明见 README.md。
仓库文件结构速查
| 文件 | 作用 |
|---|---|
| model-00001-of-00002.safetensors / model-00002-of-00002.safetensors | 骨干模型权重(bf16) |
| head.safetensors | 决策头权重 |
| config.json | 模型架构配置(Qwen3.5-4B 底座) |
| decision_config.json | 决策头参数、校准温度、基座版本与训练数据指纹 |
| tokenizer.json / processor_config.json | 分词器与图像处理器(沿用 Qwen3.5-4B-Base,未改动) |
| sieve_vision/ | 推理代码包(引擎、决策头、图像缩放、批处理等) |
| sieve_vision_engine.py | Decision Index 评测套件入口 |
| LICENSE / NOTICE | Apache-2.0 许可与数据声明 |
适合谁用?典型场景
- 物流质检:判断包裹是否破损、商品是否有划痕,输出概率便于设定"低于 90% 就人工复核"这类规则;
- 工业/电商内容审核:对违规图片做可解释的分级判定;
- 自动化决策流水线:下游系统只需要数字(概率),不需要解析自然语言答案,链路更短更稳;
- 低成本视觉推理:单次前向、约 9.3 GB 显存,部署门槛远低于同级别生成式 VLM。
常见问题 FAQ ❓
Q:它为什么"不生成文字"是优势? A:跳过逐 token 生成后,速度恒定且可批量;概率直接来自校准的 softmax,适合做阈值判定和统计,而不是让下游去"读答案"。
Q:能问开放式问题吗?
A:不能。它只支持 choice(选择题)形式,任何数量的选项都可以,但不输出自由文本——这也是它的设计目标。
Q:选项顺序会影响结果吗? A:推理时按你给出的顺序评分,不做洗牌(训练时才随机打乱并重新标字母,防止位置偏置)。
Q:许可证允许商用吗? A:模型本身为 Apache-2.0;注意 NOTICE 提到部分训练数据带有使用限制条款,商用前请自行确认。
一句话总结:Sieve-Vision-4B 把"看图回答选择题"这件事做到了极致——一次前向、直出校准概率、约 9.3 GB 显存,是需要可靠视觉判定而不是花哨回答的应用的好选择。🚀