VeBrain视觉编码器工作原理:ViT-1280、patch切分与2×2合并如何把图像变成Token?

原创2026-10-21 13:18:512,122 阅读

VeBrain视觉编码器工作原理:ViT-1280、patch切分与2×2合并如何把图像变成Token?

VeBrain 的视觉编码器基于 ViT-1280 架构,通过 14×14 的 patch 切分 和 2×2 空间合并,把一张图像压缩成一组可供语言模型直接理解的 视觉 Token。这篇文章用最直白的方式拆解这套流程:图像进来 → 切成小方块 → 送入 32 层 Transformer → 每 4 个特征合并为 1 个 Token → 替换提示词中的占位符,完成"看图说话"的输入准备。

一、为什么要把图像变成 Token?

语言模型不认识像素,只认识 Token 序列。所以多模态模型的核心设计,就是给图像找一套"翻译"方案:

  1. 把图像切成小块(patch),每个小块对应一个向量;
  2. 用视觉编码器逐层"读懂"这些小块;
  3. 再适当压缩数量,得到一组数量可控的视觉 Token;
  4. 最后把这组 Token 插进文字序列中,模型即可像读句子一样读图。

VeBrain 正是采用这条主流技术路线(ViT + 空间合并 + LLM 融合),其配置在 config.json 的 vision_config 与语言部分中都有明确定义。

二、第一步:patch 切分——把图像切成 14×14 的小块

在进入编码器之前,预处理阶段会做三件事:

  • 缩放:根据 min_pixels / max_pixels 约束调整分辨率,避免图像过大爆内存、过小丢细节;
  • 标准化:像素值乘以 rescale_factor 后,用固定的均值与标准差归一化;
  • 切 patch:按 patch_size = 14 把图像切成 14×14 像素的小方块。

这些参数都可以在 preprocessor_config.json 中找到:

参数 值 含义
patch_size 14 每个视觉 patch 是 14×14 像素
merge_size 2 2×2 的空间合并因子
min_pixels 3136 最少的像素预算(约 16×16 patch)
max_pixels 12845056 最多像素预算,保证高分辨率支持
temporal_patch_size 2 视频处理时相邻 2 帧合并为一组

可以直观估算:一张 224×224 的图像会被切成 16×16 = 256 个 patch,即 256 个初始视觉向量。切得越细,细节保留越多,但 Token 数也越多——这就是 VeBrain 需要后面"合并"环节的原因。

三、第二步:ViT-1280——用 32 层 Transformer 读图

每个 patch 向量经过一个卷积式的投影层(权重名 visual.patch_embed.proj),被映射到 1280 维的特征空间,再进入 ViT 主干。

从 model.safetensors.index.json 的权重清单可以确认,VeBrain 的视觉编码器结构是:

  • visual.patch_embed:patch 投影层,负责"切块 → 向量化";
  • visual.blocks.0 ~ visual.blocks.31:共 32 个 Transformer 块,每个块包含自注意力(attn.qkv / attn.proj)与 MLP(gate_proj / up_proj / down_proj,即 SwiGLU 结构);
  • visual.merger:收尾的空间合并模块。

所谓"ViT-1280",指的就是隐藏维度为 1280 的 Vision Transformer。每一层都在做同一件事:让每个 patch 的向量"看到"其他所有 patch,从而把局部像素信息逐渐组织成全局语义(比如从"一块边缘"升级为"一只猫的轮廓")。32 层的深度足以建立起这种由细到粗的层次化理解。

四、第三步:2×2 合并——把 Token 数量压到 1/4

32 层 ViT 输出的还是每个 patch 一个向量。如果直接送进语言模型,256 个 patch 就是 256 个 Token;而高分辨率图像动辄上千个 patch,会严重挤占上下文窗口。

VeBrain 的解决办法是 2×2 空间合并:相邻 2 行 × 2 列的 4 个 patch 向量拼接在一起,经过 visual.merger(内部含 LayerNorm 与两层 MLP)融合为 1 个 向量:

256 个 patch ──[2×2 合并]──> 64 个视觉 Token

效果一目了然:

  • Token 数量降为 1/4,上下文开销大幅降低;
  • 相邻特征被强制关联,恰好利用了图像的空间局部性;
  • 每个最终 Token 实际上覆盖了 28×28 像素的区域(14×14 × 2×2),尺度适中,既能定位细节又不冗余。

合并后的向量维度同时从 1280 投影到与语言模型一致的 3584 维,完成"视觉世界"到"语言世界"的接轨。

五、从视觉到语言:图像 Token 如何进入 7B 大模型

合并得到的视觉 Token 会替换提示词模板中的占位符。在 chat_template.json 中可以看到,模板会用类似:

Picture 1: <|vision_start|><image_pad>...<|vision_end|>

的方式为每张图片留出一个"插槽"。config.json 中也登记了这些特殊 Token:

  • image_token_id(151655):<image_pad>,即图像 Token 的占位符;
  • vision_start_token_id / vision_end_token_id:图片区段的起止标记;
  • 视觉特征随后按顺序填充进这些占位符,与前后文字 Token 拼成同一条序列。

语言模型侧是 28 层、隐藏维度 3584 的 Transformer(同样见 config.json 的 num_hidden_layers、hidden_size),它与视觉编码器共享同一条注意力流水线——从此,图像和文字对模型而言只是"同一种 Token 的不同来源"。

六、快速核对:这些参数都写在哪儿?

想了解的 去哪里看
ViT 隐藏维度 1280、patch 14 config.json 的 vision_config
预处理参数(缩放、归一化、合并因子) preprocessor_config.json
视觉编码器各层权重(32 个 block + merger) model.safetensors.index.json 中 visual.* 前缀
图像占位符与对话模板 chat_template.json
语言模型规模(28 层 / 3584 维) config.json

总结

VeBrain 视觉编码器的工作链路可以一句话概括:

图像 → 14×14 patch 切分 → 32 层 ViT-1280 提取特征 → 2×2 合并压缩 4 倍 → 3584 维视觉 Token 填入文本占位符 → 语言模型统一理解图文。

理解这条链路后,你就能明白:patch_size 决定了"看多细",merge_size 决定了"用多少 Token 看",而 1280 维的 ViT 主干决定了"看多懂"。三者配合,才让 VeBrain 既能看清细节,又不爆上下文。

登录后查看全文
VeBrain