Sieve-Vision-4B完全指南:不生成文字的视觉决策模型,到底是什么?

原创2026-11-14 21:11:26565 阅读
文章标签:人工智能计算机视觉多模态深度学习大模型

Sieve-Vision-4B完全指南:不生成文字的视觉决策模型,到底是什么?

Sieve-Vision-4B 是一款视觉决策模型(Vision Decision Model):给它一张或多张图片加一道选择题,它一次性读图,直接为每个选项给出校准过的概率,全程不生成任何文字。本文带你搞清楚它是什么、如何工作、如何本地部署,以及适合哪些场景。

视觉决策模型是什么?和普通视觉大模型有什么区别?

普通视觉语言模型(VLM)回答问题是"一个字一个字往外蹦":逐 token 生成文本,速度慢、答案难以量化,概率也常常不准。

Sieve-Vision-4B 换了个思路——只判分,不写文章:

对比项 普通视觉语言模型 Sieve-Vision-4B
输出形式 自然语言文本 每个选项一个概率值 + 最高概率选项
推理方式 逐 token 自回归生成 单次前向传播(one forward pass)
速度 取决于生成多少字 与答案长短无关,最快约 0.8 秒(4 张大图)
概率可靠性 未经校准,偏差较大 经过校准(calibrated softmax)

简单说:它像一台"选择题判卷机",输入图片和选项,输出"选 A 的概率 87%,选 B 的概率 13%"这类可信数字。🎯

内部结构:骨干网络 + 决策头

Sieve-Vision-4B 由两部分组成,对应仓库中的两套权重文件:

  1. 骨干网络(Backbone):对 Qwen3.5-4B-Base 的 32 层文本解码器做全量微调(full fine-tune),视觉编码器保持原样。它只负责"看懂"图片和问题,负责产出的权重在 model-00001-of-00002.safetensors 和 model-00002-of-00002.safetensors 中。
  2. 决策头(Decision Head):一小块新增网络,读取"决策点"和各选项的隐状态,逐个选项打分,再经过温度缩放(T = 1.817,在留出数据上拟合)做校准 softmax,输出最终概率。权重只有几 MB,单独存放在 head.safetensors。

决策头的实现(含 logit 限幅 cap * tanh(logit / cap) 与选项掩码)见 sieve_vision/head.py;整体前向流程在 sieve_vision/model.py 中。训练与运行配置(温度、基座版本、图片像素上下限)记录在 decision_config.json 里。

⚡ 一个有趣的细节:温度 T 只影响概率的"尖锐程度",永远不会改变最终选中的选项——这让它的判定结果稳定、可复现。

快速上手:3 步在本地跑起来

第一步:准备环境

需要 CUDA 12 驱动环境,安装推理依赖:

pip install torch==2.8.0 "transformers>=5.16" safetensors pillow huggingface_hub
pip install flash-linear-attention==0.5.2   # 推荐:融合算子,用于复现官方数字

第二步:获取模型文件

可以从仓库下载本地代码(包含推理引擎 sieve_vision_engine.py):

git clone https://gitcode.com/hf_mirrors/sthanika-ai/Sieve-Vision-4B

第三步:加载模型并做出第一次判断

from huggingface_hub import snapshot_download
from sieve_vision import SieveVisionEngine

path = snapshot_download("sthanika-ai/Sieve-Vision-4B")
engine = SieveVisionEngine(model=path)

response, _ = engine(
    {},
    {"answer": {"type": "choice",
                "instructions": "照片里的包裹损坏了吗?",
                "criteria": {"A": "是,箱子撕裂或压扁",
                             "B": "否,看起来完好"}}},
    images=["parcel.jpg"])
print(response["answers"]["answer"])
# {'type': 'choice', 'choice': 'A', 'probabilities': {'A': 0.87, 'B': 0.13}}

返回结果固定为两部分:choice(概率最高的选项)和 probabilities(每个选项的概率)。引擎核心逻辑在 sieve_vision/engine.py,批处理用 engine.batch([...]) 即可。

输入限制与显存需求一览 📦

项目 规格
图片分辨率 每张 65,536 px(256×256)至 1.6 MP(1,638,400 px),边长自动取 32 的倍数
单次请求图片数 最多 100 张(每张至少 64 token,共 6,400 个图片 token)
选项数量 任意个,选项文本不做截断
显存占用 bf16 权重约 9.3 GB,另加激活值
最坏延迟 4 张 1.6 MP 图、A100 80GB 上中位数约 778 ms
输入形式 文件路径、data: URL、base64 或原始字节

一张 4090 / 48GB 级别的卡即可轻松运行;单张消费级 24GB 卡也够用。

成绩如何?Decision Index 视觉榜单表现

官方在 Decision Index 视觉评测(随机猜测 = 0,满分 = 100)上的成绩:

版本 分数
0.4 版视觉榜 Full score 58.60
0.4 版视觉榜 public score 65.17
0.3 版公共视觉套件(12,210 条请求、11 个基准,自家完整跑分) 64.95

0.3 版那轮跑分做到了 100% 覆盖:12,210 条请求无一不支持、零报错,在单张 A100 80GB 上完成。详细成绩说明见 README.md。

仓库文件结构速查

文件 作用
model-00001-of-00002.safetensors / model-00002-of-00002.safetensors 骨干模型权重(bf16)
head.safetensors 决策头权重
config.json 模型架构配置(Qwen3.5-4B 底座)
decision_config.json 决策头参数、校准温度、基座版本与训练数据指纹
tokenizer.json / processor_config.json 分词器与图像处理器(沿用 Qwen3.5-4B-Base,未改动)
sieve_vision/ 推理代码包(引擎、决策头、图像缩放、批处理等)
sieve_vision_engine.py Decision Index 评测套件入口
LICENSE / NOTICE Apache-2.0 许可与数据声明

适合谁用?典型场景

  • 物流质检:判断包裹是否破损、商品是否有划痕,输出概率便于设定"低于 90% 就人工复核"这类规则;
  • 工业/电商内容审核:对违规图片做可解释的分级判定;
  • 自动化决策流水线:下游系统只需要数字(概率),不需要解析自然语言答案,链路更短更稳;
  • 低成本视觉推理:单次前向、约 9.3 GB 显存,部署门槛远低于同级别生成式 VLM。

常见问题 FAQ ❓

Q:它为什么"不生成文字"是优势? A:跳过逐 token 生成后,速度恒定且可批量;概率直接来自校准的 softmax,适合做阈值判定和统计,而不是让下游去"读答案"。

Q:能问开放式问题吗? A:不能。它只支持 choice(选择题)形式,任何数量的选项都可以,但不输出自由文本——这也是它的设计目标。

Q:选项顺序会影响结果吗? A:推理时按你给出的顺序评分,不做洗牌(训练时才随机打乱并重新标字母,防止位置偏置)。

Q:许可证允许商用吗? A:模型本身为 Apache-2.0;注意 NOTICE 提到部分训练数据带有使用限制条款,商用前请自行确认。


一句话总结:Sieve-Vision-4B 把"看图回答选择题"这件事做到了极致——一次前向、直出校准概率、约 9.3 GB 显存,是需要可靠视觉判定而不是花哨回答的应用的好选择。🚀

登录后查看全文
Sieve-Vision-4B