VeBrain视觉编码器工作原理:ViT-1280、patch切分与2×2合并如何把图像变成Token?
VeBrain视觉编码器工作原理:ViT-1280、patch切分与2×2合并如何把图像变成Token?
VeBrain 的视觉编码器基于 ViT-1280 架构,通过 14×14 的 patch 切分 和 2×2 空间合并,把一张图像压缩成一组可供语言模型直接理解的 视觉 Token。这篇文章用最直白的方式拆解这套流程:图像进来 → 切成小方块 → 送入 32 层 Transformer → 每 4 个特征合并为 1 个 Token → 替换提示词中的占位符,完成"看图说话"的输入准备。
一、为什么要把图像变成 Token?
语言模型不认识像素,只认识 Token 序列。所以多模态模型的核心设计,就是给图像找一套"翻译"方案:
- 把图像切成小块(patch),每个小块对应一个向量;
- 用视觉编码器逐层"读懂"这些小块;
- 再适当压缩数量,得到一组数量可控的视觉 Token;
- 最后把这组 Token 插进文字序列中,模型即可像读句子一样读图。
VeBrain 正是采用这条主流技术路线(ViT + 空间合并 + LLM 融合),其配置在 config.json 的 vision_config 与语言部分中都有明确定义。
二、第一步:patch 切分——把图像切成 14×14 的小块
在进入编码器之前,预处理阶段会做三件事:
- 缩放:根据
min_pixels/max_pixels约束调整分辨率,避免图像过大爆内存、过小丢细节; - 标准化:像素值乘以
rescale_factor后,用固定的均值与标准差归一化; - 切 patch:按
patch_size = 14把图像切成 14×14 像素的小方块。
这些参数都可以在 preprocessor_config.json 中找到:
| 参数 | 值 | 含义 |
|---|---|---|
patch_size |
14 | 每个视觉 patch 是 14×14 像素 |
merge_size |
2 | 2×2 的空间合并因子 |
min_pixels |
3136 | 最少的像素预算(约 16×16 patch) |
max_pixels |
12845056 | 最多像素预算,保证高分辨率支持 |
temporal_patch_size |
2 | 视频处理时相邻 2 帧合并为一组 |
可以直观估算:一张 224×224 的图像会被切成 16×16 = 256 个 patch,即 256 个初始视觉向量。切得越细,细节保留越多,但 Token 数也越多——这就是 VeBrain 需要后面"合并"环节的原因。
三、第二步:ViT-1280——用 32 层 Transformer 读图
每个 patch 向量经过一个卷积式的投影层(权重名 visual.patch_embed.proj),被映射到 1280 维的特征空间,再进入 ViT 主干。
从 model.safetensors.index.json 的权重清单可以确认,VeBrain 的视觉编码器结构是:
visual.patch_embed:patch 投影层,负责"切块 → 向量化";visual.blocks.0 ~ visual.blocks.31:共 32 个 Transformer 块,每个块包含自注意力(attn.qkv/attn.proj)与 MLP(gate_proj/up_proj/down_proj,即 SwiGLU 结构);visual.merger:收尾的空间合并模块。
所谓"ViT-1280",指的就是隐藏维度为 1280 的 Vision Transformer。每一层都在做同一件事:让每个 patch 的向量"看到"其他所有 patch,从而把局部像素信息逐渐组织成全局语义(比如从"一块边缘"升级为"一只猫的轮廓")。32 层的深度足以建立起这种由细到粗的层次化理解。
四、第三步:2×2 合并——把 Token 数量压到 1/4
32 层 ViT 输出的还是每个 patch 一个向量。如果直接送进语言模型,256 个 patch 就是 256 个 Token;而高分辨率图像动辄上千个 patch,会严重挤占上下文窗口。
VeBrain 的解决办法是 2×2 空间合并:相邻 2 行 × 2 列的 4 个 patch 向量拼接在一起,经过 visual.merger(内部含 LayerNorm 与两层 MLP)融合为 1 个 向量:
256 个 patch ──[2×2 合并]──> 64 个视觉 Token
效果一目了然:
- Token 数量降为 1/4,上下文开销大幅降低;
- 相邻特征被强制关联,恰好利用了图像的空间局部性;
- 每个最终 Token 实际上覆盖了 28×28 像素的区域(14×14 × 2×2),尺度适中,既能定位细节又不冗余。
合并后的向量维度同时从 1280 投影到与语言模型一致的 3584 维,完成"视觉世界"到"语言世界"的接轨。
五、从视觉到语言:图像 Token 如何进入 7B 大模型
合并得到的视觉 Token 会替换提示词模板中的占位符。在 chat_template.json 中可以看到,模板会用类似:
Picture 1: <|vision_start|><image_pad>...<|vision_end|>
的方式为每张图片留出一个"插槽"。config.json 中也登记了这些特殊 Token:
image_token_id(151655):<image_pad>,即图像 Token 的占位符;vision_start_token_id/vision_end_token_id:图片区段的起止标记;- 视觉特征随后按顺序填充进这些占位符,与前后文字 Token 拼成同一条序列。
语言模型侧是 28 层、隐藏维度 3584 的 Transformer(同样见 config.json 的 num_hidden_layers、hidden_size),它与视觉编码器共享同一条注意力流水线——从此,图像和文字对模型而言只是"同一种 Token 的不同来源"。
六、快速核对:这些参数都写在哪儿?
| 想了解的 | 去哪里看 |
|---|---|
| ViT 隐藏维度 1280、patch 14 | config.json 的 vision_config |
| 预处理参数(缩放、归一化、合并因子) | preprocessor_config.json |
| 视觉编码器各层权重(32 个 block + merger) | model.safetensors.index.json 中 visual.* 前缀 |
| 图像占位符与对话模板 | chat_template.json |
| 语言模型规模(28 层 / 3584 维) | config.json |
总结
VeBrain 视觉编码器的工作链路可以一句话概括:
图像 → 14×14 patch 切分 → 32 层 ViT-1280 提取特征 → 2×2 合并压缩 4 倍 → 3584 维视觉 Token 填入文本占位符 → 语言模型统一理解图文。
理解这条链路后,你就能明白:patch_size 决定了"看多细",merge_size 决定了"用多少 Token 看",而 1280 维的 ViT 主干决定了"看多懂"。三者配合,才让 VeBrain 既能看清细节,又不爆上下文。