InternVL-14B-Flickr30K-FT-364px 架构全解:6B 视觉编码器如何驱动 14B 语言模型

原创2026-10-17 23:16:171,887 阅读

InternVL-14B-Flickr30K-FT-364px 架构全解:6B 视觉编码器如何驱动 14B 语言模型

InternVL-14B-Flickr30K-FT-364px 是由 OpenGVLab 开源的 14B 参数视觉-语言基础模型,基于 InternVL-14B-224px 在 Flickr30K 数据集上微调而来,专门用于图文检索(Image-to-Text / Text-to-Image Retrieval)任务。本文将带你完整拆解它的架构:一个 6B 的 ViT 视觉编码器、一个 14B 的 Llama 语言模型,以及两者之间巧妙的"查询令牌 + 交叉注意力"桥梁。

一、这个模型到底是什么?

先用一句话概括:它是一个双塔检索模型——图片走视觉塔、文本走语言塔,最后把两边的特征投影到同一个 768 维空间里,用余弦相似度算"图有多配文"。

项目 说明
模型类型 图文检索微调模型(CLIP 风格)
总参数量 约 14B
输入分辨率 364 × 364 像素
微调数据集 Flickr30K
支持任务 图搜文、文搜图
精度 bfloat16

模型权重被拆成了 3 个分片存储,具体哪些权重在哪个分片里,可以查看 pytorch_model.bin.index.json。

二、总体架构:三大件 + 一座桥

整个模型在 modeling_internvl.py 的 InternVLModel 中组装,核心部件如下:

1️⃣ InternViT-6B:视觉编码器(frozen)

视觉塔是一个 60 多亿参数的 ViT(定义见 modeling_intern_vit.py):

  • 48 层 Transformer 编码器,隐藏维度 3200,25 个注意力头
  • patch 大小为 14:一张 364×364 的图会被切成 26×26 = 676 个图像块(外加 1 个 CLS token,共 677 个 token)
  • 支持 FlashAttention 加速(见 flash_attention.py),并使用 QK 归一化稳定训练
  • 位置编码是可学习的,且支持双三次插值改变分辨率——这正是 364px 版本的秘密,后文细说

图像块嵌入过程实现在 InternVisionEmbeddings:Conv2d 卷积完成切块与投影,再拼上 CLS token 并加上位置编码。

2️⃣ QLLaMA:14B 语言模型(frozen)

语言塔基于 Llama 架构(实现在 modeling_qllama.py):

  • 32 层,隐藏维度 4096,32 个注意力头,词表大小 49954
  • 关键改动:每隔 2 层插入一个交叉注意力层(cross_attention_frequency=2),语言模型可以"回头看"图像特征。这一逻辑在 LlamaModel 初始化 中:
use_cross_attn = [idx % self.cross_attention_frequency == 0
                  for idx in range(config.num_hidden_layers)]

交叉注意力模块 LlamaCrossAttention 中,语言侧输出 Query,视觉侧的 3200 维特征则通过 k_proj/v_proj 投影成 Key 和 Value——这就是"6B 视觉编码器驱动 14B 语言模型"的具体机制。

3️⃣ 桥梁:96 个 Query Token 与投影头

在 InternVLModel 的初始化 中可以看到完整装配清单:

组件 作用 训练状态
vision_model 6B 视觉编码器 冻结
qllama 14B 语言模型 冻结
query_tokens 96 个可学习的查询令牌(96×4096) 可训练
clip_projector 对 ViT 特征做注意力池化 → 768 维 冻结
clip_projector2 对语言侧特征做注意力池化 → 768 维 可训练
text_projection 文本 4096 维 → 768 维投影 冻结
logit_scale CLIP 风格的温度系数 可训练
itm_head 图文匹配(ITM)二分类头 可训练

这种"冻结大主干、只训轻量桥接件"的设计,是它能在 Flickr30K 这种小数据集上微调大模型的精髓。所有配置项都定义在 InternVLConfig 中。

三、两种推理模式:InternVL-C 与 InternVL-G

模型支持两种工作模式,切换方式就是调用时传入 mode 参数,核心实现在 encode_image:

InternVL-C(CLIP 双塔模式) 🏗️

  • 图片:ViT 编码 → clip_projector 池化
  • 文本:Llama 单独编码 → text_projection 投影
  • 两路完全解耦,推理快,适合大规模检索

InternVL-G(全局融合模式) 🔍

  • 图片:在 96 个 query token 上运行 Llama,视觉特征通过交叉注意力注入语言模型,再经 clip_projector2 池化;同时叠加 ViT 骨干特征
  • 相当于"CLIP 特征 + LLM 特征"双路集成,召回更精细,但开销更高

最终 forward 会把图文特征归一化后做点积,得到相似度 logits:

logits_per_image = logit_scale * image_features @ text_features.t()

四、364px:分辨率升档的小巧思

基础模型 InternVL-14B-224px 输入是 224×224,而本版本将 force_image_size 设为 364(见 config.json)。

由于 patch=14,364/14=26 恰好是整数,位置编码从 16×16 网格双三次插值到 26×26 网格即可,逻辑在 resize_pos_embeddings,在模型初始化时自动触发(modeling_internvl.py)。

图像预处理由 preprocessor_config.json 定义:先 resize 到 364、中心裁剪、再按 ImageNet 均值/方差归一化。更高的分辨率意味着更细的视觉细节,对检索小目标、密集场景尤其有帮助。

五、仓库文件速览 📁

文件 说明
config.json 模型主配置(视觉/语言/桥接参数)
configuration_internvl.py / configuration_intern_vit.py 配置类定义
modeling_internvl.py 总装模型:双塔前向、C/G 两种模式
modeling_intern_vit.py 6B 视觉编码器
modeling_qllama.py 带交叉注意力的 Llama 语言模型
flash_attention.py FlashAttention 适配层
preprocessor_config.json 364px 图像预处理参数
tokenizer.model / tokenizer_config.json Llama 分词器
pytorch_model-0000X-of-00003.bin 3 个权重分片
runs/ TensorBoard 训练日志目录

六、快速上手:三步完成图文检索

⚠️ 注意:summarize: 前缀和 pad_token_id = 0 是必须的,缺失会导致结果异常。

model = AutoModel.from_pretrained(
    'OpenGVLab/InternVL-14B-Flickr30K-FT-364px',
    torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval()

tokenizer.pad_token_id = 0
pixel_values = image_processor(images, return_tensors='pt').pixel_values
input_ids = tokenizer(['summarize:a photo of a red panda'],
                      return_tensors='pt').input_ids

# 选择 C 或 G 模式
logits_per_image, logits_per_text = model(
    image=pixel_values, text=input_ids, mode='InternVL-G')
probs = logits_per_image.softmax(dim=-1)

需要本地完整代码时,可执行:

git clone https://gitcode.com/OpenGVLab/InternVL-14B-Flickr30K-FT-364px

七、常见疑问 FAQ

Q:为什么叫 "FT-364px"? FT 指 Fine-Tune(在 Flickr30K 上微调),364px 指输入分辨率从基础模型的 224 提升到 364。

Q:视觉编码器为什么是"6B",总参数却只有 14B? 14B 是语言模型 QLLaMA 的参数量口径,6B 的 ViT 是额外的视觉塔;两个主干在微调时均被冻结,实际可训练的只有 query token、投影池化层、温度系数和 ITM 头等轻量组件。

Q:C 模式和 G 模式怎么选? 追求吞吐和大规模初筛选 InternVL-C(双塔解耦、可离线建索引);追求召回精度、特别是复杂场景检索时选 InternVL-G(LLM 参与全局融合)。

总结

InternVL-14B-Flickr30K-FT-364px 展示了大模型时代图文检索的典型范式:冻结 6B ViT + 14B Llama 双主干,用 96 个查询令牌和交叉注意力做桥梁,仅训练轻量投影层。364px 分辨率配合位置编码插值,让检索能力在细节感知上再上一个台阶。理解这套架构,也为你阅读其他 CLIP 系大规模视觉-语言模型打下了基础。

登录后查看全文
InternVL-14B-Flickr30K-FT-364px