Step-5-Preview多模态原理揭秘:47层Vision Transformer如何看懂图像
Step-5-Preview多模态原理揭秘:47层Vision Transformer如何看懂图像
Step-5-Preview 是阶跃星辰(StepFun)面向智能体工作打造的旗舰多模态模型,总参数 600B、支持最长 1M token 上下文,可接收文本、图像和视频输入。它的"眼睛"正是一台 47 层的 Vision Transformer(ViT)——本文将带你从零看懂这张图是如何一步步变成大语言模型能理解的视觉 token 的。无需深厚数学背景,跟着 4 步流水线走一遍即可。
一图读懂:多模态理解的四步流水线
Step-5-Preview 的视觉理解并不是"看图说话"的黑盒,而是一条清晰可查的流水线,源码全部开放在 inference/vision_encoder.py 与 inference/model.py 中:
| 步骤 | 模块 | 输入 → 输出 |
|---|---|---|
| ① Patch 切块 | 14×14 卷积 | 728×728 图片 → 2704 个 1536 维向量 |
| ② 47 层 ViT | Transformer 堆叠 | 2704 个向量全局"互读" |
| ③ 两次卷积下采样 | 3×3 卷积(stride 2) | 52×52 网格 → 13×13 = 169 个 token |
| ④ 投影与注入 | 线性投影器 | 6144 维 → 4096 维,替换文本占位符 |
最终,一张图只占用 169 个"词"的位置,就能被 92 层的语言解码器像读文字一样读进去。
第一步:把 728×728 图片切成 2704 个小方块
视觉编码器收到预处理后的图片(主图固定为 728×728)后,第一件"粗活"是 Patch Embedding——用一枚 14×14、步长 14 的卷积核(无 bias)直接把图片扫成网格:
- 728 ÷ 14 = 52,于是得到 52×52 的网格,共 2704 个 patch;
- 每个 patch 被映射为一个 1536 维向量,相当于"一个词"的语义表示;
- 模型不使用 CLS token(
use_cls_token: false),所有信息都保留在 patch 向量里。
这一步的实现在 inference/vision_encoder.py#L389-L393 的 conv1 中:输入 3 通道 RGB,输出通道数就是 ViT 的宽度 1536。
第二步:47 层 Vision Transformer 的"双向精读"
切好的 2704 个 patch 向量,接下来要经过一台 47 层的 Vision Transformer。它的关键规格(来自 config.json#L16-L29 的 vision_config):
| 参数 | 值 | 通俗理解 |
|---|---|---|
layers |
47 | "读书"的遍数 |
width |
1536 | 每个 token 的"脑容量" |
heads |
16 | 每层 16 个注意力视角 |
hidden_act |
quick_gelu |
激活函数 |
ls_init_value |
0.1 | LayerScale 初始缩放 |
这台 ViT 有几个值得新手记住的设计:
- 双向注意力:文本模型是"从左到右"单向读字的,而 ViT 采用非因果注意力(
is_causal=False)——每个 patch 都能同时看到全图所有 patch,这样才能理解"杯子在盘子右边"这类空间关系。 - 双重位置编码:除了可学习的绝对位置编码(不同分辨率下用双线性插值对齐),注意力中还叠加了 2D RoPE(二维旋转位置编码),让模型同时掌握"绝对坐标"和"相对方位"。相关实现见 inference/vision_encoder.py#L94-L172。
- 训练稳定性设计:Pre-LN 归一化 + LayerScale(初始值 0.1)帮助这台 47 层深网稳定收敛;MLP 中间层扩展到 8960 维再压回 1536。
- 取最后一层输出:配置中
vision_select_layer: -1表示只取第 47 层(最后一层)的特征送给后续模块,信息最充分。
每层内部就是经典的"注意力 → 残差 → MLP → 残差"结构,47 层堆叠在 inference/vision_encoder.py#L320-L357 的 EncoderVisionTransformer 中。
第三步:两次卷积下采样,2704 压缩到 169
2704 个 token 对下游文本模型来说太"啰嗦"了。ViT 输出后,模型通过两次 3×3 卷积下采样(stride 2、padding 1)做"空间换语义"的压缩:
52×52 网格(2704 token,宽 1536)
↓ 卷积 #1:空间减半,宽度翻倍
26×26 网格(676 token,宽 3072)
↓ 卷积 #2:再减半
13×13 网格(169 token,宽 6144)
对应 inference/vision_encoder.py#L434-L443 中的 vit_downsampler1 与 vit_downsampler2。压缩比高达 16 倍(空间上 4×4),而通道宽度从 1536 扩大到 6144——用更"厚"的向量承载更大区域的语义。
💡 数字对上了吗?
image_token_len: 169正是 13×13;而 504×504 的局部裁剪图(504÷14=36,两次减半后 9×9)则输出 81 个 token,即配置里的patch_token_len: 81。
这套"主图 + 裁剪图"机制让模型既看全局(728×728 主图),又能放大细节(504×504 局部裁剪),非常适合图表、截图、金融报表这类"大画面里藏小字"的场景。
第四步:Projector 投影与占位符替换——视觉特征"说"了语言模型的话
压缩后的 6144 维向量还"说"的不是语言模型的"方言"。最后一站是 projector(投影器):一个 6144 → 4096 的无 bias 线性层(vit_large_projector),把视觉特征变换到文本解码器 4096 维的隐藏空间。
注入过程非常巧妙(见 inference/model.py#L2425-L2454):
- 对话模板 chat_template.jinja 中,图片先被表示为一个
<im_patch>占位符(token ID128001); - Prefill 阶段,模型找出所有占位符位置,用投影后的视觉特征直接替换掉它们的词嵌入;
- 之后 92 层语言解码器对"图文混合序列"一视同仁地处理,完全感知不到哪些 token 来自像素;
- 解码(decode)阶段不重复编码图像,直接复用 KV cache,视觉只在 prefill 时算一次。
📐 顺序细节:多张图合并时遵循"先裁剪图、后主图"的顺序拼接(inference/model.py#L2381-L2423),占位符数量必须与视觉 token 总数严格一致,否则直接报错——这是一个很好的自校验设计。
它到底有多大?权重藏在哪里?
视觉部分虽不占多数,却独立成档,便于单独查看:
| 项目 | 说明 |
|---|---|
| 权重文件 | vit.safetensors(约 3.96 GB,667 个 BF16 张量) |
| 张量命名前缀 | vision_model.*(ViT 主体)、vit_large_projector.*(投影器) |
| 精度 | 视觉编码器恒为 BF16,即使文本专家使用 FP8 量化也不受影响 |
| 张量映射 | 见 model.safetensors.index.json |
多模态 checkpoint(model_type: step5_vl)的完整组件规格在 inference/README.zh.md#L276-L289 有官方汇总表,文本侧则是 92 层、352 个专家(top-8 路由)、1M 上下文的稀疏 MoE 解码器——视觉 token 注入后,与文字走同一条 DSA 稀疏注意力解码路径。
动手验证:在哪里看它"看懂"图像
- 视觉编码器实现:inference/vision_encoder.py——Patch 卷积、2D RoPE、47 层堆叠、下采样全在此文件;
- 视觉→文本注入:inference/model.py 的
Step5ForConditionalGeneration(inference/model.py#L2343-L2454); - 多模态回归测试:inference/test_vision.py,覆盖配置往返、裁剪顺序、占位符校验等 20 项检查,运行方式见 inference/README.zh.md#L341-L346;
- 图文生成入口:inference/generate.py 的
--image-inputs参数,配合预处理的pixel_values/patch_pixel_values/num_patches(输入约定见 inference/README.zh.md#L305-L338)。
小结:47 层 ViT 看懂图像的完整故事
- 切块:14×14 卷积把 728×728 图片切成 2704 个 1536 维 patch;
- 精读:47 层 ViT 用双向注意力 + 2D RoPE 让每个 patch 理解全图空间关系;
- 压缩:两次卷积下采样把网格压成 13×13 = 169 个"浓缩" token;
- 转译:projector 投影到 4096 维,替换
<im_patch>占位符,与文字 token 一起进入 92 层 MoE 解码器。
理解了这个流程,你就掌握了 Step-5-Preview 多模态能力的一半——剩下的另一半(DSA 稀疏注意力、352 专家 MoE、1M 上下文),值得留给下一篇专题。