拆解 Sieve-Vision-4B 视觉决策模型:Decision Head 评分公式与 tanh 限幅原理完全指南
拆解 Sieve-Vision-4B 视觉决策模型:Decision Head 评分公式与 tanh 限幅原理完全指南
Sieve-Vision-4B 是一个视觉决策模型(vision decision model):给它几张图片和一道选择题,它只跑一次前向传播,就直接为每个选项打出一个校准过的概率,而不生成任何文字。本文拆解它的核心组件 Decision Head,讲清选项评分公式与 30·tanh(x/30) 的限幅原理,帮助理解它如何做到"有把握,但绝不过度自信"。
一、为什么"不生成文字"反而是它的优势 🔍
传统多模态大模型(LLM)回答选择题时要一个字一个字地"生成"答案,再靠后处理去匹配选项。Sieve-Vision-4B 走的是另一条路:
- 一次前向传播(one pass)读完全图 + 题目,
- 由一个轻量 Decision Head 直接输出每个选项的分数,
- 再经温度缩放 + softmax,得到一组和为 1 的概率。
| 设计要点 | 取值 | 说明 |
|---|---|---|
| 骨干 Backbone | Qwen3.5-4B-Base | 视觉编码器 + 32 层文本解码器,负责"看图读题" |
| 决策头 Head | dim=512, hidden=2560 | 独立小模块,负责"给选项打分" |
| 输出形式 | 每个选项一个概率 | 不做文本生成,天然无"幻觉选项" |
| 精度 | 骨干 bf16 / 决策头 FP32 | 打分环节用更高精度,保证稳定 |
💡 关键点:因为不生成文字,答案永远来自你提供的选项,不存在"答非所问"或"编造选项",这正是它适合做图像质检、合规判断、多模态选择题等场景的原因。
二、一次前向传播如何打分?全流程拆解
图像 + 选择题
│
▼
┌──────────────────────────────┐
│ Qwen3.5-4B Backbone (bf16) │ ← 看图像、读题目
│ 视觉编码器 + 32 层解码器 │
└──────────────────────────────┘
│ 输出 hidden states h [B, L, 2560]
▼
┌──────────────────────────────┐
│ Decision Head (FP32) │ ← 给每个选项打分
│ d = h[决策点] │
│ v_k = mean(h[选项 k 片段]) │
│ logit_k = u·P(v_k)+c+vᵀW·P(d)│
│ logit = 30·tanh(logit/30) │
└──────────────────────────────┘
│ 每个选项一个 logit
▼
logits ÷ T(≈1.817) → softmax → 概率
两个"输入"由骨干提供(见 sieve_vision/model.py):
- 决策点
d:题目最后Answer:处的隐状态,代表"模型即将作答"那一刻的内部表示; - 选项向量
v_k:把选项k那段文字对应的所有隐状态求平均(mean-pool),得到该选项的"内容摘要"。
决策点的位置由 sieve_vision/prompt.py 的 build() 精确给出——它是整段输入的最后一个 token;每个选项片段(span)的起止下标也由 sieve_vision/collate.py 逐段记录。
三、Decision Head 选项评分公式详解
核心公式(源码 sieve_vision/head.py 第 38 行):
logit_k = u · P(v_k) + c + P(v_k)ᵀ W P(d)
其中 P 是一个共享投影层 Linear(2560 → 512),把高维隐状态压到 512 维。把它拆成三块来看:
| 组成项 | 记号 | 含义 | 是否随题目变化 |
|---|---|---|---|
| 选项自评分 | u · P(v_k) |
沿固定方向 u 度量选项 k 的"固有价值" |
❌ 只取决于选项本身 |
| 全局偏置 | c |
把所有选项得分整体平移 | ❌ 常数 |
| 选项–上下文交互 | P(v_k)ᵀ W P(d) |
选项与决策点的双线性匹配 | ✅ 随题目/上下文变化 |
| 字母先验(可选) | g · lm |
继承基座模型"会写哪个字母"的偏好 | ✅ 见第五节 |
🔑 直觉理解:
u·P(v_k) + c给每个选项一个基础分;而P(v_k)ᵀ W P(d)是关键——它让最终得分依赖当前这道题的上下文d,通过可学习矩阵W把"选项内容"和"题目语境"做交互。这就是模型能"就题论题"而非套模板的根源。
四、tanh 限幅原理:为什么要 30·tanh(x/30)?
打分结果在送入 softmax 前,会先经过一道限幅(head.py):
logits = self.cap * torch.tanh(logits / self.cap) # cap = 30.0
4.1 这条曲线做了什么
函数 f(x) = 30·tanh(x/30) 有三个特性:
- 值域被锁死在 (-30, 30):无论内部算出多离谱的分数,最终都被"夹"在这个区间;
- 原点附近斜率为 1:
tanh(t)≈t,所以小 logit 几乎不被改动,区分度得以保留; - 两端平滑饱和:
x越大,曲线越平,logit 越接近 ±30 而不再增长。
4.2 为什么"有上限"对决策模型至关重要
这是整篇文章最核心的思想 ⭐:
- 防止过度自信。若 logit 无上限,一个选项的 logit 冲到 +50,softmax 会把它压到几乎 1.0、其余 0.0——模型"无限笃定"。而真实世界很少有 100% 把握的判断。限幅让概率永远停留在"合理置信区间"。
- 支撑概率校准。Sieve-Vision-4B 强调输出的是校准概率(说 0.7 就真的约 70% 准确)。只有当 logit 有界、再叠加温度缩放,概率才不会被极端值"带偏",校准才成立。
- 数值稳定。有界的 logit 让 softmax 不会出现
exp(很大数)的溢出 / NaN,在 bf16 主干下更安全。
4.3 tanh 软限幅 vs 硬截断(clamp)
为什么不用更简单的 torch.clamp(x, -30, 30)?
| 对比项 | 硬截断 clamp |
tanh 软限幅 |
|---|---|---|
| 值域 | [-30, 30](闭区间) | (-30, 30)(开区间) |
| 原点斜率 | 1 | 1(附近几乎不改变 logit) |
| 区间外梯度 | 0(梯度死区) | → 0 但恒非零 |
| 平滑性 | ±30 处折线、不可导 | C∞ 处处可导 |
| 训练表现 | 大 logit 区梯度直接消失 | 梯度平滑衰减,可稳定学习 |
💡 一句话:
clamp是"急刹车",tanh是"渐减速"。对需要反传训练的决策头而言,tanh的处处可导、无死区,让"限幅"本身也变成了可学习、可平滑优化的过程。
限幅完成后,非法选项会被置为 -inf(head.py),softmax 后概率自然归零——选项永远按你传入的顺序逐一评分。
五、lm_prior:让评分"继承"基座模型的字母偏好
decision_config.json 中 lm_prior: true,这会额外叠加一项"字母先验"(model.py):
lm = d · E[key] # 决策点与"字母 token"嵌入的内积
lm = lm - mean(lm) # 中心化:减去有效选项的均值
logits += g * lm # g 初始为 1
d · E[key]恰好等于基座模型在Answer:处"下一个会写哪个字母"的 logit(因为lm_head与embed_tokens权重共享)。- 中心化这一步很巧妙:先减去所有有效选项的均值,使先验"零和"。这样它只表达"相对更偏爱哪个字母",而不会把全体 logit 整体抬高/压低——那部分会被常数
c吸收,甚至撞满 tanh 限幅。 g从 1 起步,意味着训练直接从基座模型的零样本字母偏好出发,再学习其余部分,收敛更快、更稳。
🧠 这是一个"站在巨人肩膀上"的设计:4B 基座模型本来就会写 A/B/C,决策头不必从零学会"选字母",而是继承 + 精修。
六、从 logit 到最终概率:温度 T 与校准
最后两步在引擎里完成(sieve_vision/engine.py):
logits = self.model(b) / self.temperature # T ≈ 1.817
probs = softmax(logits)
- 温度 T ≈ 1.817 是在私有留出数据上拟合出来的校准参数:
logit / T(T>1)会把分布"拉平",降低峰值置信度,使概率更贴近真实准确率。 - 关键性质:T 只改变概率的"陡缓",不改变 argmax(除以正数不影响最大项)。所以温度从不改变最终答案,只负责让"置信度"更诚实。
⚖️ 三段式分工:tanh 限幅保证 logit 有界 → 温度缩放调整分布锐度 → softmax 归一化成概率。三者合力,才得到"既果断又校准"的输出。
七、关键配置速查(decision_config.json)
所有数值都可在这份清单里核对(decision_config.json):
| 参数 | 值 | 作用 |
|---|---|---|
logit_cap |
30.0 | tanh 限幅的 cap 上限 |
head_dim |
512 | 决策头投影维度 D |
hidden_size |
2560 | 骨干隐层宽度 H |
lm_prior |
true | 是否启用字母先验 |
temperature |
1.817… | 概率校准温度 |
max_image_tokens_total |
6400 | 单次请求图像 token 总预算 |
max_pixels |
1,638,400 | 单图最大像素(约 1.6 MP) |
八、源码索引:每个部件在哪里看?
| 关注点 | 文件与位置 |
|---|---|
| RMS 归一化 | sieve_vision/head.py |
| 决策头结构与初始化 | sieve_vision/head.py |
| 评分公式 + tanh 限幅 + 掩码 | sieve_vision/head.py |
| 决策点 d 与选项向量 v_k 提取 | sieve_vision/model.py |
| 字母先验 lm_prior | sieve_vision/model.py |
| 温度缩放 + softmax | sieve_vision/engine.py |
| 决策点 / 选项 span 构建 | sieve_vision/prompt.py |
| batch 与选项下标收集 | sieve_vision/collate.py |
| 引擎入口 | sieve_vision_engine.py |
小结
Sieve-Vision-4B 把"看图选择题"重构成了一个纯打分问题:骨干负责把图像和题目编码成隐状态,Decision Head 用 u·P(v_k) + c + P(v_k)ᵀW P(d) 给每个选项定价,再用 tanh 软限幅锁死 logit、用温度缩放校准概率。
- 📌
u·P(v_k)+c:选项的基础分 - 📌
P(v_k)ᵀW P(d):随题目变化的上下文交互 - 📌
30·tanh(x/30):有界且平滑,防止过度自信 - 📌
÷1.817 → softmax:把分数变成校准概率
理解了这条链路,你就看懂了它"高置信度、不过度自信、答案永远来自给定选项"背后的全部工程细节。