InternVL-C vs InternVL-G:InternVL-14B-Flickr30K-FT-364px 双模式图文检索原理深度对比
InternVL-C vs InternVL-G:InternVL-14B-Flickr30K-FT-364px 双模式图文检索原理深度对比
InternVL-14B-Flickr30K-FT-364px 是一款 14B 参数的开源图像-文本检索模型,基于 InternVL-14B-224px 在 Flickr30K 数据集上微调而来,输入分辨率为 364×364。它最大的特色是内置了 InternVL-C 与 InternVL-G 两套可切换的编码模式:前者追求"快",后者追求"强"。本文将带你彻底搞懂这两种模式的检索原理、差异点,以及在实际使用中该如何选择。
一、模型速览:InternVL-14B 检索模型由什么组成?
在对比之前,先建立全局视角。这个模型的"身体"由三大部件拼装而成:
| 部件 | 规格 | 作用 |
|---|---|---|
| InternViT-6B(视觉编码器) | 48 层、隐藏维度 3200 | 把 364×364 的图片切成 26×26 个 14×14 像素块,编码成视觉特征 |
| QLLaMA(语言模型) | 32 层 Llama 架构、隐藏维度 4096 | 编码文本,并为 InternVL-G 模式提供"交叉注意力"通道 |
| 96 个 query token + 投影头 | 检索空间维度 768 | 把两种模态的特征投影到同一个 768 维向量空间做相似度计算 |
这些结构参数可以直接在 config.json 中查证:
force_image_size: 364:强制图片尺寸,位置编码从 224 插值放大到 364(见 modeling_internvl.py 的resize_pos_embeddings调用);num_query_token: 96:InternVL-G 模式专用的查询令牌数量;clip_embed_dim: 768:统一检索空间的维度。
模型文件组织上,核心推理逻辑在 modeling_internvl.py,视觉编码器在 modeling_intern_vit.py,语言模型(含交叉注意力实现)在 modeling_qllama.py。
二、InternVL-C 模式:轻量快速的"直连通道"
InternVL-C 的设计思路非常接近经典 CLIP:一条最短路径,把图文直接编码到同一空间。
图像路径(见 encode_image):
- 图片进入 InternViT-6B,输出一组视觉 patch 特征;
- 特征送入
clip_projector——一个 16 头的注意力池化模块(AttentionPoolingBlock,定义于 modeling_internvl.py),把成百上千个 patch 特征"投票"浓缩成 1 个 768 维向量。
文本路径(见 encode_text):
- 文本送入 QLLaMA 做纯语言编码;
- 取最后一个有效 token 的隐状态,经过
text_projection矩阵投影到 768 维。
✅ 特点:图像不经过语言模型,只跑一次 ViT + 一次池化,推理速度快、显存占用低,适合大批量图片建库等对速度敏感的场景。
三、InternVL-G 模式:双路特征融合的"深度通道"
InternVL-G 在 InternVL-C 的基础上,让语言模型也参与图像理解,并引入"双路特征融合":
第一路:backbone 特征(与 C 模式相同)
ViT 输出的原始视觉特征经 clip_projector 池化得到 768 维向量,代表图片的"全局直觉"。
第二路:query token 特征(G 模式独有) 这是精髓所在(见 get_image_features):
- 96 个可学习的
query_tokens作为输入进入 QLLaMA(见 modeling_internvl.py); - 在 QLLaMA 的 32 层解码器中,每隔
cross_attention_frequency=2层就插入一次交叉注意力(实现见 modeling_qllama.py):query token 向 ViT 的视觉特征"提问",把图文语义深度对齐后的信息吸收到自己身上; - 96 个 query token 的输出再经第二个池化头
clip_projector2浓缩成 768 维向量。
融合公式(见 encode_image):
两路特征分别做 L2 归一化后直接相加:
image_embeds = norm(backbone) + norm(query)
✅ 特点:语言模型的多层交叉注意力让向量携带了更细粒度的语义信息(比如"图中有两只猫"这种关系性理解),检索精度更高,代价是需要完整跑一遍 QLLaMA,速度明显慢于 C 模式。
四、共同的"对账"环节:相似度如何计算?
两种模式算出的图文向量,最终都汇入同一段收尾逻辑(见 forward):
- 图像、文本特征各自 L2 归一化;
- 相乘的转置得到相似度矩阵,再乘以可学习的温度系数
logit_scale(初始值为1/0.07,见 modeling_internvl.py); - 返回
logits_per_image(图→文)与logits_per_text(文→图)两个方向的结果,softmax 后即可用于排序。
所以两个模式的差异完全在编码前端:C 是"单路直连",G 是"双路融合";后端的相似度计算完全一致,也正因为如此,同一批图文向量可以分别用两种模式各算一套结果,方便做离线评估对比。
五、快速上手:双模式调用步骤与注意事项
加载模型后,只需改变 mode 参数即可在两种模式间切换(完整示例见 README.md):
model = AutoModel.from_pretrained(
'OpenGVLab/InternVL-14B-Flickr30K-FT-364px',
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
trust_remote_code=True).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained(
'OpenGVLab/InternVL-14B-Flickr30K-FT-364px', use_fast=False, add_eos_token=True)
tokenizer.pad_token_id = 0 # 必须设置!
# InternVL-C:速度快
logits_per_image, logits_per_text = model(
image=pixel_values, text=input_ids, mode='InternVL-C')
# InternVL-G:精度高
logits_per_image, logits_per_text = model(
image=pixel_values, text=input_ids, mode='InternVL-G')
⚠️ 两个"坑"务必注意(README 中加粗强调):
- 文本前缀必须加
'summarize:',否则结果异常; - 必须设置
tokenizer.pad_token_id = 0。
六、如何选择?一张对比表说清楚
| 对比维度 | InternVL-C | InternVL-G |
|---|---|---|
| 图像是否经过语言模型 | ❌ 否 | ✅ 是(交叉注意力) |
| 特征来源 | ViT 单路 | ViT + query token 双路融合 |
| 推理速度 | 快 ⚡ | 慢(约需跑完整 QLLaMA) |
| 适用场景 | 大批量建库、实时检索、低延迟场景 | 高精度精排、评测、难例检索 |
| 核心代码 | InternVL_C | InternVL_G |
💡 实践建议:可以先用 InternVL-C 做粗筛(Top-K 召回),再用 InternVL-G 对候选集精排,兼顾速度与精度。
七、关键文件清单
- README.md:模型说明、性能数据与完整调用示例;
- modeling_internvl.py:
InternVLModel主模型,含双模式编码与相似度计算; - modeling_intern_vit.py:InternViT-6B 视觉编码器(6B 参数);
- modeling_qllama.py:QLLaMA 语言模型及交叉注意力层实现;
- config.json:模型超参数(364px、96 query token、768 维检索空间等);
- preprocessor_config.json:图像预处理配置(364 缩放、中心裁剪、ImageNet 归一化);
- configuration_internvl.py / configuration_intern_vit.py:配置类定义。
总结:InternVL-14B-Flickr30K-FT-364px 把"快"和"强"做进了同一个模型里——InternVL-C 用轻量直连编码换取速度,InternVL-G 用 query token 交叉注意力 + 双路特征融合换取精度。理解这两个模式背后的结构差异,是高效使用这个 14B 检索模型的第一步。