InternVL-C vs InternVL-G:InternVL-14B-Flickr30K-FT-364px 双模式图文检索原理深度对比

原创2026-10-17 18:15:512,173 阅读

InternVL-C vs InternVL-G:InternVL-14B-Flickr30K-FT-364px 双模式图文检索原理深度对比

InternVL-14B-Flickr30K-FT-364px 是一款 14B 参数的开源图像-文本检索模型,基于 InternVL-14B-224px 在 Flickr30K 数据集上微调而来,输入分辨率为 364×364。它最大的特色是内置了 InternVL-C 与 InternVL-G 两套可切换的编码模式:前者追求"快",后者追求"强"。本文将带你彻底搞懂这两种模式的检索原理、差异点,以及在实际使用中该如何选择。

一、模型速览:InternVL-14B 检索模型由什么组成?

在对比之前,先建立全局视角。这个模型的"身体"由三大部件拼装而成:

部件 规格 作用
InternViT-6B(视觉编码器) 48 层、隐藏维度 3200 把 364×364 的图片切成 26×26 个 14×14 像素块,编码成视觉特征
QLLaMA(语言模型) 32 层 Llama 架构、隐藏维度 4096 编码文本,并为 InternVL-G 模式提供"交叉注意力"通道
96 个 query token + 投影头 检索空间维度 768 把两种模态的特征投影到同一个 768 维向量空间做相似度计算

这些结构参数可以直接在 config.json 中查证:

  • force_image_size: 364:强制图片尺寸,位置编码从 224 插值放大到 364(见 modeling_internvl.py 的 resize_pos_embeddings 调用);
  • num_query_token: 96:InternVL-G 模式专用的查询令牌数量;
  • clip_embed_dim: 768:统一检索空间的维度。

模型文件组织上,核心推理逻辑在 modeling_internvl.py,视觉编码器在 modeling_intern_vit.py,语言模型(含交叉注意力实现)在 modeling_qllama.py。

二、InternVL-C 模式:轻量快速的"直连通道"

InternVL-C 的设计思路非常接近经典 CLIP:一条最短路径,把图文直接编码到同一空间。

图像路径(见 encode_image):

  1. 图片进入 InternViT-6B,输出一组视觉 patch 特征;
  2. 特征送入 clip_projector——一个 16 头的注意力池化模块(AttentionPoolingBlock,定义于 modeling_internvl.py),把成百上千个 patch 特征"投票"浓缩成 1 个 768 维向量。

文本路径(见 encode_text):

  1. 文本送入 QLLaMA 做纯语言编码;
  2. 取最后一个有效 token 的隐状态,经过 text_projection 矩阵投影到 768 维。

✅ 特点:图像不经过语言模型,只跑一次 ViT + 一次池化,推理速度快、显存占用低,适合大批量图片建库等对速度敏感的场景。

三、InternVL-G 模式:双路特征融合的"深度通道"

InternVL-G 在 InternVL-C 的基础上,让语言模型也参与图像理解,并引入"双路特征融合":

第一路:backbone 特征(与 C 模式相同) ViT 输出的原始视觉特征经 clip_projector 池化得到 768 维向量,代表图片的"全局直觉"。

第二路:query token 特征(G 模式独有) 这是精髓所在(见 get_image_features):

  1. 96 个可学习的 query_tokens 作为输入进入 QLLaMA(见 modeling_internvl.py);
  2. 在 QLLaMA 的 32 层解码器中,每隔 cross_attention_frequency=2 层就插入一次交叉注意力(实现见 modeling_qllama.py):query token 向 ViT 的视觉特征"提问",把图文语义深度对齐后的信息吸收到自己身上;
  3. 96 个 query token 的输出再经第二个池化头 clip_projector2 浓缩成 768 维向量。

融合公式(见 encode_image):

两路特征分别做 L2 归一化后直接相加:image_embeds = norm(backbone) + norm(query)

✅ 特点:语言模型的多层交叉注意力让向量携带了更细粒度的语义信息(比如"图中有两只猫"这种关系性理解),检索精度更高,代价是需要完整跑一遍 QLLaMA,速度明显慢于 C 模式。

四、共同的"对账"环节:相似度如何计算?

两种模式算出的图文向量,最终都汇入同一段收尾逻辑(见 forward):

  1. 图像、文本特征各自 L2 归一化;
  2. 相乘的转置得到相似度矩阵,再乘以可学习的温度系数 logit_scale(初始值为 1/0.07,见 modeling_internvl.py);
  3. 返回 logits_per_image(图→文)与 logits_per_text(文→图)两个方向的结果,softmax 后即可用于排序。

所以两个模式的差异完全在编码前端:C 是"单路直连",G 是"双路融合";后端的相似度计算完全一致,也正因为如此,同一批图文向量可以分别用两种模式各算一套结果,方便做离线评估对比。

五、快速上手:双模式调用步骤与注意事项

加载模型后,只需改变 mode 参数即可在两种模式间切换(完整示例见 README.md):

model = AutoModel.from_pretrained(
    'OpenGVLab/InternVL-14B-Flickr30K-FT-364px',
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    trust_remote_code=True).cuda().eval()

tokenizer = AutoTokenizer.from_pretrained(
    'OpenGVLab/InternVL-14B-Flickr30K-FT-364px', use_fast=False, add_eos_token=True)
tokenizer.pad_token_id = 0  # 必须设置!

# InternVL-C:速度快
logits_per_image, logits_per_text = model(
    image=pixel_values, text=input_ids, mode='InternVL-C')

# InternVL-G:精度高
logits_per_image, logits_per_text = model(
    image=pixel_values, text=input_ids, mode='InternVL-G')

⚠️ 两个"坑"务必注意(README 中加粗强调):

  • 文本前缀必须加 'summarize:',否则结果异常;
  • 必须设置 tokenizer.pad_token_id = 0。

六、如何选择?一张对比表说清楚

对比维度 InternVL-C InternVL-G
图像是否经过语言模型 ❌ 否 ✅ 是(交叉注意力)
特征来源 ViT 单路 ViT + query token 双路融合
推理速度 快 ⚡ 慢(约需跑完整 QLLaMA)
适用场景 大批量建库、实时检索、低延迟场景 高精度精排、评测、难例检索
核心代码 InternVL_C InternVL_G

💡 实践建议:可以先用 InternVL-C 做粗筛(Top-K 召回),再用 InternVL-G 对候选集精排,兼顾速度与精度。

七、关键文件清单

总结:InternVL-14B-Flickr30K-FT-364px 把"快"和"强"做进了同一个模型里——InternVL-C 用轻量直连编码换取速度,InternVL-G 用 query token 交叉注意力 + 双路特征融合换取精度。理解这两个模式背后的结构差异,是高效使用这个 14B 检索模型的第一步。

登录后查看全文
InternVL-14B-Flickr30K-FT-364px