源码级拆解:GOT-OCR2_0-8bit 的 ViT-B 视觉塔与 Qwen2 语言模型如何融合成 OCR 引擎

原创2026-10-22 19:37:351,361 阅读

源码级拆解:GOT-OCR2_0-8bit 的 ViT-B 视觉塔与 Qwen2 语言模型如何融合成 OCR 引擎

GOT-OCR2_0-8bit 是一个面向 Apple Silicon 的 OCR 2.0 视觉语言模型:5.6 亿参数、8bit 量化后仅 689 MB。它把 SAM 风格的 ViT-B 视觉塔与 24 层 Qwen2 语言模型"焊接"成一台完整的多模态 OCR 引擎——图片从视觉塔进来,文字从语言模型逐 token 吐出,中间靠 256 个"视觉词"完成交接。本文基于仓库源码拆解这套融合机制,并给出在 Mac 上跑通本地 OCR 推理的步骤。

一分钟看懂:三个部件拼成的 OCR 引擎

整条推理路径是一条单向流水线:

1024×1024 图片 → ViT-B 视觉塔(12 层) → 256 个 1024 维视觉特征 → 线性投影器 → 替换文本中的 256 个 <imgpad> 占位符 → Qwen2 语言模型(24 层) 自回归解码 → OCR 文本

部件 规模 推理精度 源码位置
ViT-B 视觉塔 12 层 / 768 维 / 12 头 bf16(不量化) got_vision_b.py
线性投影器 1024 → 1024 bf16(不量化) modeling_GOT.py
Qwen2 语言模型 24 层 / 1024 维 / 16 头 8bit 量化(group 64) config.json

三部分合计 560.5M 参数,视觉塔 + 投影器约占 96.7M(17%)。8bit 版本只压缩语言模型,视觉部分刻意保持 bf16——这是后文"只压嘴、不压眼"策略的关键。

ViT-B 视觉塔:把一张图"切词"成 256 个视觉 token

视觉塔的定义在 ImageEncoderViT,构建入口是 build_GOT_vit_b。它的内部结构分四段:

1. 切块(Patch Embedding)

输入固定为 1024×1024 的 RGB 图,先用一个 16×16 卷积切块,得到 64×64 = 4096 个 patch token,每个 768 维,再叠加绝对位置编码。

2. 12 层窗口 + 全局混合注意力

前 11 层大部分使用 14×14 的窗口注意力,只有第 2、5、8、11 层是全局注意力(由 global_attn_indexes 指定),兼顾局部细节与全局上下文。注意力分数还叠加了可学习的相对位置编码(rel_pos_h / rel_pos_w),这对"字符顺序正确性"至关重要。

3. 颈部(Neck)

768 维特征经 1×1 卷积降到 256 通道,再过一层 3×3 卷积,输出 64×64×256 的特征图。

4. 两次 stride-2 下采样

net_2(256→512 通道)和 net_3(512→1024 通道)各做一次 2 倍下采样,特征图从 64×64 收敛到 16×16。最后展平,得到 256 个向量、每个 1024 维。

这里藏着整个模型最精巧的数字对齐:

  • 256 正好等于 config.json 里的 image_token_len,即 prompt 中 <imgpad> 占位符的个数;
  • 1024 正好等于 Qwen2 的 hidden_size,视觉特征与文本词嵌入维度完全一致,无需额外变换即可"无缝插队"。

也就是说,视觉塔的输出被设计成 256 个"视觉词",每个词对应原图 64×64 像素的区域。

融合点:256 个视觉词如何"插队"进文本序列

融合逻辑集中在 GOTQwenModel 中,可以拆成三步。

第一步:组装带占位符的 prompt。 入口 chat 方法 会把指令拼成:

<image 占位段> + "\n" + "OCR: "

其中占位段是 <img> + 256 个 <imgpad> + </img>,三个特殊 token 的 ID 写死在 config.json(151857 / 151858 / 151859)。分词器来自 Qwen 的 BPE 实现 tokenization_qwen.py,词表文件为 qwen.tiktoken(151,860 词)。

第二步:视觉特征替换占位嵌入。 前向时,文字部分走 embed_tokens 得到文本嵌入;图片则先过视觉塔,256 个特征再经投影器 mm_projector_vary(一个 1024→1024 的线性层,见 modeling_GOT.py)。随后代码在 <img> 标记之后,用这 256 个视觉特征原位替换掉 256 个 <imgpad> 的词嵌入(替换逻辑),并校验 <img> 与 </img> 数量必须配对。

第三步:交给纯语言模型。 拼接后的序列已全是嵌入向量,于是调用父类 Qwen2Model.forward(input_ids=None, inputs_embeds=...)——从这一刻起,Qwen2 把 256 个视觉特征当作 256 个"词",和指令文本一起进入自注意力,逐 token 生成识别结果。

一个值得一提的小细节:即使 prompt 中不含图片占位符,代码也会让一个 0 张量参与计算(dummy 特征),保证训练时梯度不断。

Qwen2 语言模型:24 层"小脑"如何吐出 OCR 文本

语言模型本体是标准 Qwen2 架构(config.json):24 层 Transformer、hidden 1024、16 个注意力头、FFN 宽度 2816、RoPE 旋转位置编码(θ=1e6)、上下文窗口 32768。两个与 OCR 场景强相关的设定:

  • 词嵌入与 lm_head 共享权重(tie_word_embeddings: true)。这 155.5M 参数占全部被量化张量的 34%,是量化中误差最集中的部分,也是 8bit 版保留精度的关键点之一。
  • 它不是聊天模型。GOT 只认两条指令:OCR: (纯文本识别)和 OCR with format: (表格转 Markdown、公式转 LaTeX、乐谱转 MusicXML 的结构化输出),其他 prompt 属于分布外输入,结果不保证。

生成策略见 chat 方法:贪心解码(do_sample=False、num_beams=1)、no_repeat_ngram_size=20 防复读、最长 4096 token,并以 </output> 作为停止符(KeywordsStoppingCriteria)。对 OCR 这种"答案唯一"的任务,贪心 + 防重复比采样更稳。

8bit 量化:只压"嘴",不压"眼睛"

这个仓库是 stepfun-ai/GOT-OCR2_0 的 MLX 8bit 量化版(mlx-vlm 0.6.14 转换),量化策略写得很克制(config.json):

  • affine 模式、group_size 64,只量化语言模型的 169 个张量;
  • 视觉塔与投影器保持 bf16(权重索引中 vision_tower.* 与 multi_modal_projector.* 均无 .scales 量化张量,可在 model.safetensors.index.json 中验证);
  • 落盘 689 MB,有效位宽 9.851 bit/weight。

"眼睛"(视觉塔)负责把图像细节转成特征,量化误差会直接破坏字符级识别;"嘴"(语言模型)则对误差更鲁棒。实测也验证了这个取舍(数据见 README.md):

版本 速度 (tok/s) 峰值显存 (GB) 6 文档 OCR 结果
bf16 138.3 2.50 基准
8bit 210.8 2.06 与 bf16 逐字节一致
4bit 272.9 1.83 有 1~2 个字段偏差

8bit 版在 6 张合成文档(发票、实验报告、运单、收据等)上的输出与 bf16 完全相同,速度却快了 53%,内存省了近一半——在 M 系列 Mac 上是明显的性价比拐点。

在 Mac 上跑通 GOT-OCR2_0-8bit 的快速上手步骤

前提注意:需要带 GOT-OCR 2.0 支持的 mlx-vlm(上游 PR 尚未合并,已发布的 mlx-vlm 暂无法加载本仓库,详见 README.md)。

安装依赖后,一条命令即可推理:

python -m mlx_vlm generate \
    --model mlx-community/GOT-OCR2_0-8bit \
    --image document.png \
    --prompt "OCR: " \
    --max-tokens 1024

三个使用要点:

  • prompt 必须原样保留,包括 OCR: 末尾的空格,它直接影响输出格式;
  • 区域/颜色识别:在 prompt 前加坐标或颜色即可聚焦,如 <a href="https://link.gitcode.com/i/469f2ba28a4e6c23be90a44b3164e7a0" target="_blank">100,200,500,600] OCR: (坐标按图片宽高归一化到 0–1000),或 [red] OCR: 只识别红色文字(实现见 [chat 方法);
  • 密集长页:可走多切块路径,dynamic_preprocess 会按宽高比最多切 6 块再加一张缩略图,配合 OCR upon the patch reference: 指令逐块识别(chat_crop 方法)。

识别出的 LaTeX 公式或 MusicXML 乐谱,还能用 render_tools.py 转成可预览的 HTML 页面,适合做"公式图片 → 网页"的管线。

关键文件速查表

文件 作用
got_vision_b.py ViT-B 视觉塔:切块、窗口注意力、颈部与下采样
modeling_GOT.py 融合主体:视觉特征插队、Qwen2 生成、prompt 组装
config.json 架构配置:256 图像 token、特殊 token ID、8bit 量化参数
tokenization_qwen.py + qwen.tiktoken Qwen BPE 分词器与词表
render_tools.py LaTeX 公式 / 乐谱的 HTML 渲染
model.safetensors 689 MB 权重(语言模型 8bit,视觉塔 bf16)
model.safetensors.index.json 权重张量索引,可核对哪些层被量化
README.md 量化保真度、速度与显存实测数据

总结

GOT-OCR2_0-8bit 的本质,是三个数字的精确对齐:视觉塔下采样后输出 256 个特征,恰好填满 prompt 里的 256 个 <imgpad> 占位符;每个特征 1024 维,恰好等于 Qwen2 的词嵌入维度。对齐之后,"看图"和"写字"就共用同一条注意力流水线——这正是 ViT-B 视觉塔与 Qwen2 融合成 OCR 引擎的全部秘密。8bit 量化只动语言模型、不动视觉塔,换来的是 Mac 上 210 tok/s 的速度、2 GB 出头的内存占用,以及与 bf16 逐字节一致的识别质量。

登录后查看全文
GOT-OCR2_0-8bit