拆解 Sieve-Vision-4B 视觉决策模型:Decision Head 评分公式与 tanh 限幅原理完全指南

原创2026-11-14 22:00:18878 阅读
文章标签:人工智能计算机视觉多模态深度学习大模型

拆解 Sieve-Vision-4B 视觉决策模型:Decision Head 评分公式与 tanh 限幅原理完全指南

Sieve-Vision-4B 是一个视觉决策模型(vision decision model):给它几张图片和一道选择题,它只跑一次前向传播,就直接为每个选项打出一个校准过的概率,而不生成任何文字。本文拆解它的核心组件 Decision Head,讲清选项评分公式与 30·tanh(x/30) 的限幅原理,帮助理解它如何做到"有把握,但绝不过度自信"。


一、为什么"不生成文字"反而是它的优势 🔍

传统多模态大模型(LLM)回答选择题时要一个字一个字地"生成"答案,再靠后处理去匹配选项。Sieve-Vision-4B 走的是另一条路:

  • 一次前向传播(one pass)读完全图 + 题目,
  • 由一个轻量 Decision Head 直接输出每个选项的分数,
  • 再经温度缩放 + softmax,得到一组和为 1 的概率。
设计要点 取值 说明
骨干 Backbone Qwen3.5-4B-Base 视觉编码器 + 32 层文本解码器,负责"看图读题"
决策头 Head dim=512, hidden=2560 独立小模块,负责"给选项打分"
输出形式 每个选项一个概率 不做文本生成,天然无"幻觉选项"
精度 骨干 bf16 / 决策头 FP32 打分环节用更高精度,保证稳定

💡 关键点:因为不生成文字,答案永远来自你提供的选项,不存在"答非所问"或"编造选项",这正是它适合做图像质检、合规判断、多模态选择题等场景的原因。


二、一次前向传播如何打分?全流程拆解

  图像 + 选择题
      │
      ▼
 ┌──────────────────────────────┐
 │  Qwen3.5-4B Backbone (bf16) │  ← 看图像、读题目
 │  视觉编码器 + 32 层解码器      │
 └──────────────────────────────┘
      │  输出 hidden states h  [B, L, 2560]
      ▼
 ┌──────────────────────────────┐
 │  Decision Head (FP32)        │  ← 给每个选项打分
 │  d   = h[决策点]              │
 │  v_k = mean(h[选项 k 片段])   │
 │  logit_k = u·P(v_k)+c+vᵀW·P(d)│
 │  logit = 30·tanh(logit/30)   │
 └──────────────────────────────┘
      │  每个选项一个 logit
      ▼
 logits ÷ T(≈1.817) → softmax → 概率

两个"输入"由骨干提供(见 sieve_vision/model.py):

  • 决策点 d:题目最后 Answer: 处的隐状态,代表"模型即将作答"那一刻的内部表示;
  • 选项向量 v_k:把选项 k 那段文字对应的所有隐状态求平均(mean-pool),得到该选项的"内容摘要"。

决策点的位置由 sieve_vision/prompt.py 的 build() 精确给出——它是整段输入的最后一个 token;每个选项片段(span)的起止下标也由 sieve_vision/collate.py 逐段记录。


三、Decision Head 选项评分公式详解

核心公式(源码 sieve_vision/head.py 第 38 行):

logit_k = u · P(v_k) + c + P(v_k)ᵀ W P(d)

其中 P 是一个共享投影层 Linear(2560 → 512),把高维隐状态压到 512 维。把它拆成三块来看:

组成项 记号 含义 是否随题目变化
选项自评分 u · P(v_k) 沿固定方向 u 度量选项 k 的"固有价值" ❌ 只取决于选项本身
全局偏置 c 把所有选项得分整体平移 ❌ 常数
选项–上下文交互 P(v_k)ᵀ W P(d) 选项与决策点的双线性匹配 ✅ 随题目/上下文变化
字母先验(可选) g · lm 继承基座模型"会写哪个字母"的偏好 ✅ 见第五节

🔑 直觉理解:u·P(v_k) + c 给每个选项一个基础分;而 P(v_k)ᵀ W P(d) 是关键——它让最终得分依赖当前这道题的上下文 d,通过可学习矩阵 W 把"选项内容"和"题目语境"做交互。这就是模型能"就题论题"而非套模板的根源。


四、tanh 限幅原理:为什么要 30·tanh(x/30)?

打分结果在送入 softmax 前,会先经过一道限幅(head.py):

logits = self.cap * torch.tanh(logits / self.cap)   # cap = 30.0

4.1 这条曲线做了什么

函数 f(x) = 30·tanh(x/30) 有三个特性:

  • 值域被锁死在 (-30, 30):无论内部算出多离谱的分数,最终都被"夹"在这个区间;
  • 原点附近斜率为 1:tanh(t)≈t,所以小 logit 几乎不被改动,区分度得以保留;
  • 两端平滑饱和:x 越大,曲线越平,logit 越接近 ±30 而不再增长。

4.2 为什么"有上限"对决策模型至关重要

这是整篇文章最核心的思想 ⭐:

  1. 防止过度自信。若 logit 无上限,一个选项的 logit 冲到 +50,softmax 会把它压到几乎 1.0、其余 0.0——模型"无限笃定"。而真实世界很少有 100% 把握的判断。限幅让概率永远停留在"合理置信区间"。
  2. 支撑概率校准。Sieve-Vision-4B 强调输出的是校准概率(说 0.7 就真的约 70% 准确)。只有当 logit 有界、再叠加温度缩放,概率才不会被极端值"带偏",校准才成立。
  3. 数值稳定。有界的 logit 让 softmax 不会出现 exp(很大数) 的溢出 / NaN,在 bf16 主干下更安全。

4.3 tanh 软限幅 vs 硬截断(clamp)

为什么不用更简单的 torch.clamp(x, -30, 30)?

对比项 硬截断 clamp tanh 软限幅
值域 [-30, 30](闭区间) (-30, 30)(开区间)
原点斜率 1 1(附近几乎不改变 logit)
区间外梯度 0(梯度死区) → 0 但恒非零
平滑性 ±30 处折线、不可导 C∞ 处处可导
训练表现 大 logit 区梯度直接消失 梯度平滑衰减,可稳定学习

💡 一句话:clamp 是"急刹车",tanh 是"渐减速"。对需要反传训练的决策头而言,tanh 的处处可导、无死区,让"限幅"本身也变成了可学习、可平滑优化的过程。

限幅完成后,非法选项会被置为 -inf(head.py),softmax 后概率自然归零——选项永远按你传入的顺序逐一评分。


五、lm_prior:让评分"继承"基座模型的字母偏好

decision_config.json 中 lm_prior: true,这会额外叠加一项"字母先验"(model.py):

lm = d · E[key]                 # 决策点与"字母 token"嵌入的内积
lm = lm - mean(lm)              # 中心化:减去有效选项的均值
logits += g * lm                # g 初始为 1
  • d · E[key] 恰好等于基座模型在 Answer: 处"下一个会写哪个字母"的 logit(因为 lm_head 与 embed_tokens 权重共享)。
  • 中心化这一步很巧妙:先减去所有有效选项的均值,使先验"零和"。这样它只表达"相对更偏爱哪个字母",而不会把全体 logit 整体抬高/压低——那部分会被常数 c 吸收,甚至撞满 tanh 限幅。
  • g 从 1 起步,意味着训练直接从基座模型的零样本字母偏好出发,再学习其余部分,收敛更快、更稳。

🧠 这是一个"站在巨人肩膀上"的设计:4B 基座模型本来就会写 A/B/C,决策头不必从零学会"选字母",而是继承 + 精修。


六、从 logit 到最终概率:温度 T 与校准

最后两步在引擎里完成(sieve_vision/engine.py):

logits = self.model(b) / self.temperature   # T ≈ 1.817
probs  = softmax(logits)
  • 温度 T ≈ 1.817 是在私有留出数据上拟合出来的校准参数:logit / T(T>1)会把分布"拉平",降低峰值置信度,使概率更贴近真实准确率。
  • 关键性质:T 只改变概率的"陡缓",不改变 argmax(除以正数不影响最大项)。所以温度从不改变最终答案,只负责让"置信度"更诚实。

⚖️ 三段式分工:tanh 限幅保证 logit 有界 → 温度缩放调整分布锐度 → softmax 归一化成概率。三者合力,才得到"既果断又校准"的输出。


七、关键配置速查(decision_config.json)

所有数值都可在这份清单里核对(decision_config.json):

参数 值 作用
logit_cap 30.0 tanh 限幅的 cap 上限
head_dim 512 决策头投影维度 D
hidden_size 2560 骨干隐层宽度 H
lm_prior true 是否启用字母先验
temperature 1.817… 概率校准温度
max_image_tokens_total 6400 单次请求图像 token 总预算
max_pixels 1,638,400 单图最大像素(约 1.6 MP)

八、源码索引:每个部件在哪里看?

关注点 文件与位置
RMS 归一化 sieve_vision/head.py
决策头结构与初始化 sieve_vision/head.py
评分公式 + tanh 限幅 + 掩码 sieve_vision/head.py
决策点 d 与选项向量 v_k 提取 sieve_vision/model.py
字母先验 lm_prior sieve_vision/model.py
温度缩放 + softmax sieve_vision/engine.py
决策点 / 选项 span 构建 sieve_vision/prompt.py
batch 与选项下标收集 sieve_vision/collate.py
引擎入口 sieve_vision_engine.py

小结

Sieve-Vision-4B 把"看图选择题"重构成了一个纯打分问题:骨干负责把图像和题目编码成隐状态,Decision Head 用 u·P(v_k) + c + P(v_k)ᵀW P(d) 给每个选项定价,再用 tanh 软限幅锁死 logit、用温度缩放校准概率。

  • 📌 u·P(v_k)+c:选项的基础分
  • 📌 P(v_k)ᵀW P(d):随题目变化的上下文交互
  • 📌 30·tanh(x/30):有界且平滑,防止过度自信
  • 📌 ÷1.817 → softmax:把分数变成校准概率

理解了这条链路,你就看懂了它"高置信度、不过度自信、答案永远来自给定选项"背后的全部工程细节。

登录后查看全文
Sieve-Vision-4B