InternVL2.5_HiCo_R64 架构解剖完整指南:InternViT-6B + InternLM2-7B + MLP连接器三件套如何协作

原创2026-10-19 14:54:341,765 阅读

InternVL2.5_HiCo_R64 架构解剖完整指南:InternViT-6B + InternLM2-7B + MLP连接器三件套如何协作

InternVL2.5_HiCo_R64 是书生·万象(InternVL)系列中专攻长视频理解的多模态大语言模型(MLLM),由视觉编码器 InternViT-6B、语言模型 InternLM2-7B 和 MLP 连接器三件套组成。它的杀手锏是 HiCo(自适应分层 token 压缩)技术:每帧视频只保留 64 个视觉 token(即命名中的 R64),从而把小时级长视频的上下文"塞进"语言模型的 32K 上下文窗口,在 MVBench、LongVideoBench 等视频基准上取得领先成绩。

一图看懂:三件套协作机制总览

整个模型的数据流可以概括为一条"压缩流水线":

视频帧 → InternViT-6B 提特征 → PixelShuffle 降采样 → ToMe 合并至 256 token/组 → 拆分为 64 token/帧(R64) → MLP 连接器对齐维度 → 插入 InternLM2-7B 生成回答

组件 职责 关键规格 源码位置
InternViT-6B 把图像/视频帧变成视觉特征 24 层、hidden 1024、patch 14、输入 448×448 modeling_intern_vit.py
MLP 连接器 降采样 + token 压缩 + 维度对齐 LayerNorm → Linear → GELU → Linear modeling_internvl_chat_hico.py
InternLM2-7B 语言理解与回答生成 32 层、hidden 4096、32K 上下文、GQA modeling_internlm2.py

权重文件按这三大块组织,可在 model.safetensors.index.json 中核对:vision_model(340 个权重)、language_model(227 个权重)和 mlp1(连接器,仅 6 个权重),一目了然。

成绩单:R64 版本的实测表现

官方验证的基准成绩如下(数据来自 README.md):

基准 类型 准确率
MVBench 视频综合理解 74.4
MLVU 长视频理解 72.6
Perception Test 细节感知 71.9
VideoMME(无字幕) 长视频多任务 66.4
LongVideoBench 长视频推理 62.7

可以看到,感知类任务(Perception Test)与综合理解(MVBench)表现最强,印证了"密集视觉标注 + token 压缩"训练策略对细节捕捉的增益。

第一件:InternViT-6B 视觉编码器如何"看"视频

👁️ 视觉编码器负责把每一帧 448×448 的画面切成 14×14 的 patch,得到 32×32 = 1024 个 patch 特征,再经 24 层 Transformer 编码(支持 FlashAttention-2 加速),最后丢弃 CLS token 输出纯空间特征。

关键配置集中在 config.json 的 vision_config 字段中:

  • hidden_size: 1024、num_hidden_layers: 24、num_attention_heads: 16
  • image_size: 448、patch_size: 14
  • dynamic_image_size: true:支持动态分辨率,输入图像会按 README.md 中的 dynamic_preprocess 切成 1~12 块(由 config.json 的 min_dynamic_patch: 1、max_dynamic_patch: 12 控制),每块独立编码,兼顾大图细节与计算开销

配置类定义见 configuration_intern_vit.py,model_type 为 intern_vit_6b,延续了 InternViT-6B 这一谱系命名。

第二件:HiCo 分层压缩 + MLP 连接器,R64 的由来

这是本模型最有特色的部分,全部逻辑封装在 modeling_internvl_chat_hico.py 的 extract_feature 方法里,分四步走:

1️⃣ PixelShuffle 空间降采样 把 32×32 的特征网格按 0.5 比例(downsample_ratio,见 config.json)合并成 16×16 网格,每个位置通道数从 1024 增至 4096——token 数量减半、信息密度翻倍。

2️⃣ 按 4 帧一组做局部时序分组 模型以 local_num_frames = 4 为窗口(modeling_internvl_chat_hico.py),先保留"相邻 4 帧"的局部时序上下文。

3️⃣ ToMe 二分软匹配压缩到 256 token/组 merge_tokens(L168-L199)采用 bipartite soft matching(ToMe) 算法:按注意力头平均出相似度度量,反复把最相似的 token 对合并,直到一组只剩 256 个 token(num_tome_tokens)。这是一种可微、几乎零开销的"视觉剪枝"。

4️⃣ 均分回每帧 64 个 token,再过 MLP 连接器 256 token 按 4 帧均分,恰好每帧 64 个 token —— 这就是 R64 的名字来源(num_image_token = 256 // 4,见 L131)。最后进入 mlp1 连接器:

LayerNorm(4096) → Linear(4096→4096) → GELU → Linear(4096→4096)

这一步把 ViT 的 4096 维特征对齐到 InternLM2 的 hidden_size(4096),完成"视觉语言"的最后一公里。

💡 对比:不做压缩时每帧需要 1024 个 token,压到 64 个后压缩比高达 16 倍——这正是"小时级长视频也能装进 32K 上下文"的秘密。

第三件:InternLM2-7B 语言模型负责"思考与表达"

🧠 语言模型采用 InternLM2-7B(config.json 的 llm_config),关键参数:

参数 值 作用
hidden_size 4096 与 MLP 连接器输出维度对齐
num_hidden_layers 32 解码器深度
num_key_value_heads 8 GQA 分组注意力,加速推理
max_position_embeddings 32768 32K 长上下文
rope_scaling dynamic × 2.0 动态 RoPE 外推,稳定长序列
vocab_size 92553 含视觉专用 token

模型类实现见 modeling_internlm2.py 中的 InternLM2Model 与 InternLM2ForCausalLM。

协作细节:视觉特征如何"坐进"语言序列

⚙️ 三件套真正的衔接发生在 token 替换环节,机制非常巧妙:

  1. 对话文本中每帧画面写作占位符 Frame1: <image>;
  2. chat 方法(modeling_internvl_chat_hico.py)把 <image> 展开为 <img> + 64 × num_patches 个 <IMG_CONTEXT> + </img>;
  3. 前向传播时,凡 input_ids 中等于 <IMG_CONTEXT> 的位置,其词嵌入被直接替换为 ViT 输出的视觉 token(L231-L239);
  4. 语言模型从此"看到"视觉特征,逐 token 生成回答。

涉及的视觉专用 token 定义在 added_tokens.json:<img>(92544)、<IMG_CONTEXT>(92546)、</img>(92545) 等。对话格式由 conversation.py 中注册的 internvl2_5 模板控制,系统提示词即"书生·万象"自我介绍;停止 token 由 generation_config.json 指定。

快速上手:下载并跑通 InternVL2.5_HiCo_R64

一键克隆仓库:

git clone https://gitcode.com/OpenGVLab/InternVL_2_5_HiCo_R64

安装依赖(参考 README.md):

pip install transformers==4.40.1 av imageio decord opencv-python
pip install flash-attn --no-build-isolation

最小可运行示例(截取自动态抽帧 → 对话的完整链路):

from transformers import AutoModel, AutoTokenizer

model_path = 'OpenGVLab/InternVL_2_5_HiCo_R64'
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().cuda()

pixel_values, num_patches_list = load_video(video_path, num_segments=128, max_num=1)
video_prefix = "".join([f"Frame{i+1}: <image>\n" for i in range(len(num_patches_list))])
question = video_prefix + "Describe this video in detail."

output, history = model.chat(tokenizer, pixel_values, question,
    generation_config, num_patches_list=num_patches_list,
    history=None, return_history=True)
print(output)

完整抽帧与预处理函数(load_video、dynamic_preprocess)均在 README.md 中给出,可直接复制使用。

核心配置参数速查表

调参或二次开发时,最常接触的字段(均来自 config.json):

参数 值 说明
downsample_ratio 0.5 PixelShuffle 降采样比例
min_dynamic_patch / max_dynamic_patch 1 / 12 动态分辨率切块范围
local_num_frames 4(代码内) HiCo 时序分组窗口
num_tome_tokens 256(代码内) 每组压缩目标 token 数
template internvl2_5 对话模板名
ps_version v2 PixelShuffle 版本(修正转置 bug)
select_layer -1 取 ViT 最后一层输出
torch_dtype bfloat16 推荐推理精度

组合配置类 InternVLChatConfig 负责把 vision_config + llm_config 拼装成整体模型配置,是理解三件套装配关系的最佳入口。

总结:为什么这套架构值得关注

  • 极简的连接器设计:MLP 连接器只有两层全连接,却配合 ToMe 压缩承担了"分辨率-时序-维度"三重对齐;
  • 16 倍 token 压缩:R64 让长视频理解的上下文成本降低一个数量级,是 32K 窗口装下 128 帧抽帧的关键;
  • 三件套职责清晰:ViT 管"看"、MLP 管"翻译"、LLM 管"说",每块都可独立定位源码文件,便于学习与改造。

如果你正在做多模态视频理解、又苦于长视频的 token 爆炸问题,InternVL2.5_HiCo_R64 的 HiCo 分层压缩思路值得直接借鉴。

登录后查看全文
InternVL_2_5_HiCo_R64