Sieve-Vision-4B跑分全解析:Decision Index视觉榜64.95分是如何一步步跑出来的?

原创2026-11-14 10:21:311,962 阅读
文章标签:人工智能计算机视觉多模态深度学习大模型

Sieve-Vision-4B跑分全解析:Decision Index视觉榜64.95分是如何一步步跑出来的?

Sieve-Vision-4B 是一个视觉决策模型:给它一张或多张图片加一道多选题,它一次前向就给出每个选项的校准概率,从不生成任何文字。它的 Decision Index 视觉榜成绩为 64.95 分(0.3 版公共视觉题库)。本文带你完整拆解这个分数是怎么一步步跑出来的。

一、Sieve-Vision-4B 是什么?和普通多模态模型有何不同

普通多模态大模型"看图写答案",Sieve-Vision-4B 则直接"给选项打分":

项目 说明
底座 Qwen3.5-4B-Base(32 个文本解码层完整微调)
设计 决策头(decision head),一次前向直接输出各选项概率
输入 1~100 张图片 + 任意数量选项的多选题
输出 每个选项一个校准概率,取最高者为答案
显存 bf16 权重约 9.3 GB + 激活值
协议 Apache-2.0

核心差异:它只读一次图片和问题,直接对每个选项打分,绝不逐字生成文本。答案没有"写偏"的可能,概率经过温度校准,输出更稳定。

二、先看懂计分规则:64.95 分是怎么算出来的

  • 题库:Decision Index 0.3 版公共视觉题库,共 11 个 benchmark、12,210 个请求;
  • 计分:分数经过随机猜测校正(chance-corrected)——0 分 = 纯蒙对,100 分 = 全对;
  • 跑法:用官方评测套件(固定版本 f5a6e4f)从锁定数据源重建题库,通过 decision-index vision verify 校验后,在 1 张 A100 80GB PCIe 上完成 一次完整跑分;
  • 覆盖:12,210 个请求全部作答,无"不支持的请求",无任何报错。

📌 补充:在 0.4 版视觉榜(2026-10-28 榜单数据)上,它的 Full 分为 58.60、公共分为 65.17。Full 分 = 一半公共视觉题 + 一半维护者的私有视觉题,口径不同,别混着看。

三、跑分四步走:从零到 64.95 的完整流程

第 1 步:准备环境

pip install torch==2.8.0 "transformers>=5.16" safetensors pillow huggingface_hub
pip install flash-linear-attention==0.5.2   # 官方推荐:跑分使用的融合算子

⚠️ 不装 flash-linear-attention 时,transformers 会回退到较慢的 PyTorch 内核,概率可能产生细微差异——要复现 64.95 必须装上。

第 2 步:拿到模型

git clone https://gitcode.com/hf_mirrors/sthanika-ai/Sieve-Vision-4B

仓库里是 bf16 权重(约 9.3 GB)、决策头 head.safetensors、跑分配置 decision_config.json 和推理代码 sieve_vision/。

第 3 步:重建并校验视觉题库

PYTHONPATH=Sieve-Vision-4B decision-index vision pipeline --dir work/vision \
    --engine sieve_vision_engine:SieveVisionEngine \
    --option model=sthanika-ai/Sieve-Vision-4B --out runs/Sieve-Vision-4B

引擎入口 sieve_vision_engine.py 让评测套件按"一次前向、按给定顺序打分、不洗牌、不生成"的策略调用模型,保证跑分口径与训练一致。

第 4 步:一次完整跑分

单卡 A100 80GB 跑完整套题库,官方评分器对全部 12,210 个请求打分,得到 公共视觉指数 64.95。

四、跑分现场:单次请求内部发生了什么

64.95 分由 12,210 次这样的流水线累加而成:

  1. 图像预处理 📷:原图保留到 1.6 MP(1,638,400 px)上限,超出的用 LANCZOS 降采样,低于 65,536 px 的上采样,边长对齐到 32 的倍数;一次请求最多 100 张图,共享 6,400 个图像 token 预算(见 sieve_vision/images.py)。
  2. 拼装提示词:所有图片 + 问题 + 选项拼成一条提示,结尾停在 "Answer:",每个选项的文本区间被精确记录(sieve_vision/prompt.py)。
  3. 一次前向:视觉编码器(保持冻结)把图片变成特征,32 层文本解码器读完全部输入,产出最终隐状态(sieve_vision/model.py)。
  4. 决策头打分 ⚖️:决策头以 FP32 运行,读取"决策点"(Answer: 处)和每个选项文本的均值隐状态,算出每个选项的 logit,叠加基座模型自身的字母先验,再用 30·tanh(logit/30) 软限幅(sieve_vision/head.py)。
  5. 校准概率:logit 除以温度 T = 1.817(在独立留出数据上拟合,存于 decision_config.json)后过 softmax。T 只影响概率的"自信程度",永远不会改变最终答案。

概率最高的选项即为模型的"圈选"。正因为全程只走一次前向,最坏情况(4 张 1.6 MP 图、6,489 个输入 token)在 A100 80GB 上中位数延迟仅 778 ms。

五、训练细节拆解:为什么这个分数可信

  • 只微调该微调的:32 个文本解码层完整微调,决策头从头训练;视觉编码器、视觉-文本融合器、token 嵌入全部冻结;
  • 三段式训练决策头:先单独训头 → 再与文本模型联训 → 最后单独收尾;AdamW + 余弦调度 + 3% 预热,每步 128 题,bf16 计算 + fp32 主权重;
  • 防"考卷泄题":checkpoint 由自有留出数据的分数选出,题库从未参与训练和选型;训练数据不随仓库发布,SHA-256 记录在 decision_config.json 中;
  • 选项洗牌:每次取样都打乱选项顺序并重排字母,避免模型记住"答案常在 A"。

六、快速上手:两分钟调用视觉决策模型

from huggingface_hub import snapshot_download
from sieve_vision import SieveVisionEngine

path = snapshot_download("sthanika-ai/Sieve-Vision-4B")
engine = SieveVisionEngine(model=path)
response, _ = engine(
    {},
    {"answer": {"type": "choice",
                "instructions": "Is the parcel in the photo damaged?",
                "criteria": {"A": "Yes, the box is torn or crushed",
                             "B": "No, it looks intact"}}},
    images=["parcel.jpg"])
print(response["answers"]["answer"])  # {'type': 'choice', 'choice': 'A', 'probabilities': {...}}

需要并发时用 engine.batch(<a href="https://link.gitcode.com/i/2e111f0441b33053f55067cd7adecf62" target="_blank">...]),默认单批 token 预算 32,000,跑分引擎核心逻辑见 [sieve_vision/engine.py。

七、跑分相关文件导航

文件 作用
model-00001-of-00002.safetensors 等 bf16 模型权重
head.safetensors 决策头权重
decision_config.json 决策头参数、校准温度 T=1.817、基座版本、库版本
sieve_vision/engine.py 跑分引擎:前向、softmax、取最大概率
sieve_vision/prompt.py 提示词拼装,训练与跑分共用同一构建器
README.md 完整结果、延迟与训练说明

一句话总结:64.95 分 = 冻结的视觉编码器 + 微调的 32 层解码器 + 从头训练的校准决策头,在 12,210 题的公共视觉题库上零报错一次跑完的结果——而整个过程中,模型没有生成过一句文字。

登录后查看全文
Sieve-Vision-4B