InternVL-14B-Flickr30K-FT-364px 架构全解:6B 视觉编码器如何驱动 14B 语言模型
InternVL-14B-Flickr30K-FT-364px 架构全解:6B 视觉编码器如何驱动 14B 语言模型
InternVL-14B-Flickr30K-FT-364px 是由 OpenGVLab 开源的 14B 参数视觉-语言基础模型,基于 InternVL-14B-224px 在 Flickr30K 数据集上微调而来,专门用于图文检索(Image-to-Text / Text-to-Image Retrieval)任务。本文将带你完整拆解它的架构:一个 6B 的 ViT 视觉编码器、一个 14B 的 Llama 语言模型,以及两者之间巧妙的"查询令牌 + 交叉注意力"桥梁。
一、这个模型到底是什么?
先用一句话概括:它是一个双塔检索模型——图片走视觉塔、文本走语言塔,最后把两边的特征投影到同一个 768 维空间里,用余弦相似度算"图有多配文"。
| 项目 | 说明 |
|---|---|
| 模型类型 | 图文检索微调模型(CLIP 风格) |
| 总参数量 | 约 14B |
| 输入分辨率 | 364 × 364 像素 |
| 微调数据集 | Flickr30K |
| 支持任务 | 图搜文、文搜图 |
| 精度 | bfloat16 |
模型权重被拆成了 3 个分片存储,具体哪些权重在哪个分片里,可以查看 pytorch_model.bin.index.json。
二、总体架构:三大件 + 一座桥
整个模型在 modeling_internvl.py 的 InternVLModel 中组装,核心部件如下:
1️⃣ InternViT-6B:视觉编码器(frozen)
视觉塔是一个 60 多亿参数的 ViT(定义见 modeling_intern_vit.py):
- 48 层 Transformer 编码器,隐藏维度 3200,25 个注意力头
- patch 大小为 14:一张 364×364 的图会被切成 26×26 = 676 个图像块(外加 1 个 CLS token,共 677 个 token)
- 支持 FlashAttention 加速(见 flash_attention.py),并使用 QK 归一化稳定训练
- 位置编码是可学习的,且支持双三次插值改变分辨率——这正是 364px 版本的秘密,后文细说
图像块嵌入过程实现在 InternVisionEmbeddings:Conv2d 卷积完成切块与投影,再拼上 CLS token 并加上位置编码。
2️⃣ QLLaMA:14B 语言模型(frozen)
语言塔基于 Llama 架构(实现在 modeling_qllama.py):
- 32 层,隐藏维度 4096,32 个注意力头,词表大小 49954
- 关键改动:每隔 2 层插入一个交叉注意力层(
cross_attention_frequency=2),语言模型可以"回头看"图像特征。这一逻辑在 LlamaModel 初始化 中:
use_cross_attn = [idx % self.cross_attention_frequency == 0
for idx in range(config.num_hidden_layers)]
交叉注意力模块 LlamaCrossAttention 中,语言侧输出 Query,视觉侧的 3200 维特征则通过 k_proj/v_proj 投影成 Key 和 Value——这就是"6B 视觉编码器驱动 14B 语言模型"的具体机制。
3️⃣ 桥梁:96 个 Query Token 与投影头
在 InternVLModel 的初始化 中可以看到完整装配清单:
| 组件 | 作用 | 训练状态 |
|---|---|---|
vision_model |
6B 视觉编码器 | 冻结 |
qllama |
14B 语言模型 | 冻结 |
query_tokens |
96 个可学习的查询令牌(96×4096) | 可训练 |
clip_projector |
对 ViT 特征做注意力池化 → 768 维 | 冻结 |
clip_projector2 |
对语言侧特征做注意力池化 → 768 维 | 可训练 |
text_projection |
文本 4096 维 → 768 维投影 | 冻结 |
logit_scale |
CLIP 风格的温度系数 | 可训练 |
itm_head |
图文匹配(ITM)二分类头 | 可训练 |
这种"冻结大主干、只训轻量桥接件"的设计,是它能在 Flickr30K 这种小数据集上微调大模型的精髓。所有配置项都定义在 InternVLConfig 中。
三、两种推理模式:InternVL-C 与 InternVL-G
模型支持两种工作模式,切换方式就是调用时传入 mode 参数,核心实现在 encode_image:
InternVL-C(CLIP 双塔模式) 🏗️
- 图片:ViT 编码 →
clip_projector池化 - 文本:Llama 单独编码 →
text_projection投影 - 两路完全解耦,推理快,适合大规模检索
InternVL-G(全局融合模式) 🔍
- 图片:在 96 个 query token 上运行 Llama,视觉特征通过交叉注意力注入语言模型,再经
clip_projector2池化;同时叠加 ViT 骨干特征 - 相当于"CLIP 特征 + LLM 特征"双路集成,召回更精细,但开销更高
最终 forward 会把图文特征归一化后做点积,得到相似度 logits:
logits_per_image = logit_scale * image_features @ text_features.t()
四、364px:分辨率升档的小巧思
基础模型 InternVL-14B-224px 输入是 224×224,而本版本将 force_image_size 设为 364(见 config.json)。
由于 patch=14,364/14=26 恰好是整数,位置编码从 16×16 网格双三次插值到 26×26 网格即可,逻辑在 resize_pos_embeddings,在模型初始化时自动触发(modeling_internvl.py)。
图像预处理由 preprocessor_config.json 定义:先 resize 到 364、中心裁剪、再按 ImageNet 均值/方差归一化。更高的分辨率意味着更细的视觉细节,对检索小目标、密集场景尤其有帮助。
五、仓库文件速览 📁
| 文件 | 说明 |
|---|---|
| config.json | 模型主配置(视觉/语言/桥接参数) |
| configuration_internvl.py / configuration_intern_vit.py | 配置类定义 |
| modeling_internvl.py | 总装模型:双塔前向、C/G 两种模式 |
| modeling_intern_vit.py | 6B 视觉编码器 |
| modeling_qllama.py | 带交叉注意力的 Llama 语言模型 |
| flash_attention.py | FlashAttention 适配层 |
| preprocessor_config.json | 364px 图像预处理参数 |
| tokenizer.model / tokenizer_config.json | Llama 分词器 |
| pytorch_model-0000X-of-00003.bin | 3 个权重分片 |
| runs/ | TensorBoard 训练日志目录 |
六、快速上手:三步完成图文检索
⚠️ 注意:
summarize:前缀和pad_token_id = 0是必须的,缺失会导致结果异常。
model = AutoModel.from_pretrained(
'OpenGVLab/InternVL-14B-Flickr30K-FT-364px',
torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval()
tokenizer.pad_token_id = 0
pixel_values = image_processor(images, return_tensors='pt').pixel_values
input_ids = tokenizer(['summarize:a photo of a red panda'],
return_tensors='pt').input_ids
# 选择 C 或 G 模式
logits_per_image, logits_per_text = model(
image=pixel_values, text=input_ids, mode='InternVL-G')
probs = logits_per_image.softmax(dim=-1)
需要本地完整代码时,可执行:
git clone https://gitcode.com/OpenGVLab/InternVL-14B-Flickr30K-FT-364px
七、常见疑问 FAQ
Q:为什么叫 "FT-364px"? FT 指 Fine-Tune(在 Flickr30K 上微调),364px 指输入分辨率从基础模型的 224 提升到 364。
Q:视觉编码器为什么是"6B",总参数却只有 14B? 14B 是语言模型 QLLaMA 的参数量口径,6B 的 ViT 是额外的视觉塔;两个主干在微调时均被冻结,实际可训练的只有 query token、投影池化层、温度系数和 ITM 头等轻量组件。
Q:C 模式和 G 模式怎么选? 追求吞吐和大规模初筛选 InternVL-C(双塔解耦、可离线建索引);追求召回精度、特别是复杂场景检索时选 InternVL-G(LLM 参与全局融合)。
总结
InternVL-14B-Flickr30K-FT-364px 展示了大模型时代图文检索的典型范式:冻结 6B ViT + 14B Llama 双主干,用 96 个查询令牌和交叉注意力做桥梁,仅训练轻量投影层。364px 分辨率配合位置编码插值,让检索能力在细节感知上再上一个台阶。理解这套架构,也为你阅读其他 CLIP 系大规模视觉-语言模型打下了基础。