InternVL2.5_HiCo_R64 架构解剖完整指南:InternViT-6B + InternLM2-7B + MLP连接器三件套如何协作
InternVL2.5_HiCo_R64 架构解剖完整指南:InternViT-6B + InternLM2-7B + MLP连接器三件套如何协作
InternVL2.5_HiCo_R64 是书生·万象(InternVL)系列中专攻长视频理解的多模态大语言模型(MLLM),由视觉编码器 InternViT-6B、语言模型 InternLM2-7B 和 MLP 连接器三件套组成。它的杀手锏是 HiCo(自适应分层 token 压缩)技术:每帧视频只保留 64 个视觉 token(即命名中的 R64),从而把小时级长视频的上下文"塞进"语言模型的 32K 上下文窗口,在 MVBench、LongVideoBench 等视频基准上取得领先成绩。
一图看懂:三件套协作机制总览
整个模型的数据流可以概括为一条"压缩流水线":
视频帧 → InternViT-6B 提特征 → PixelShuffle 降采样 → ToMe 合并至 256 token/组 → 拆分为 64 token/帧(R64) → MLP 连接器对齐维度 → 插入 InternLM2-7B 生成回答
| 组件 | 职责 | 关键规格 | 源码位置 |
|---|---|---|---|
| InternViT-6B | 把图像/视频帧变成视觉特征 | 24 层、hidden 1024、patch 14、输入 448×448 | modeling_intern_vit.py |
| MLP 连接器 | 降采样 + token 压缩 + 维度对齐 | LayerNorm → Linear → GELU → Linear | modeling_internvl_chat_hico.py |
| InternLM2-7B | 语言理解与回答生成 | 32 层、hidden 4096、32K 上下文、GQA | modeling_internlm2.py |
权重文件按这三大块组织,可在 model.safetensors.index.json 中核对:vision_model(340 个权重)、language_model(227 个权重)和 mlp1(连接器,仅 6 个权重),一目了然。
成绩单:R64 版本的实测表现
官方验证的基准成绩如下(数据来自 README.md):
| 基准 | 类型 | 准确率 |
|---|---|---|
| MVBench | 视频综合理解 | 74.4 |
| MLVU | 长视频理解 | 72.6 |
| Perception Test | 细节感知 | 71.9 |
| VideoMME(无字幕) | 长视频多任务 | 66.4 |
| LongVideoBench | 长视频推理 | 62.7 |
可以看到,感知类任务(Perception Test)与综合理解(MVBench)表现最强,印证了"密集视觉标注 + token 压缩"训练策略对细节捕捉的增益。
第一件:InternViT-6B 视觉编码器如何"看"视频
👁️ 视觉编码器负责把每一帧 448×448 的画面切成 14×14 的 patch,得到 32×32 = 1024 个 patch 特征,再经 24 层 Transformer 编码(支持 FlashAttention-2 加速),最后丢弃 CLS token 输出纯空间特征。
关键配置集中在 config.json 的 vision_config 字段中:
hidden_size: 1024、num_hidden_layers: 24、num_attention_heads: 16image_size: 448、patch_size: 14dynamic_image_size: true:支持动态分辨率,输入图像会按 README.md 中的dynamic_preprocess切成 1~12 块(由 config.json 的min_dynamic_patch: 1、max_dynamic_patch: 12控制),每块独立编码,兼顾大图细节与计算开销
配置类定义见 configuration_intern_vit.py,model_type 为 intern_vit_6b,延续了 InternViT-6B 这一谱系命名。
第二件:HiCo 分层压缩 + MLP 连接器,R64 的由来
这是本模型最有特色的部分,全部逻辑封装在 modeling_internvl_chat_hico.py 的 extract_feature 方法里,分四步走:
1️⃣ PixelShuffle 空间降采样
把 32×32 的特征网格按 0.5 比例(downsample_ratio,见 config.json)合并成 16×16 网格,每个位置通道数从 1024 增至 4096——token 数量减半、信息密度翻倍。
2️⃣ 按 4 帧一组做局部时序分组
模型以 local_num_frames = 4 为窗口(modeling_internvl_chat_hico.py),先保留"相邻 4 帧"的局部时序上下文。
3️⃣ ToMe 二分软匹配压缩到 256 token/组
merge_tokens(L168-L199)采用 bipartite soft matching(ToMe) 算法:按注意力头平均出相似度度量,反复把最相似的 token 对合并,直到一组只剩 256 个 token(num_tome_tokens)。这是一种可微、几乎零开销的"视觉剪枝"。
4️⃣ 均分回每帧 64 个 token,再过 MLP 连接器
256 token 按 4 帧均分,恰好每帧 64 个 token —— 这就是 R64 的名字来源(num_image_token = 256 // 4,见 L131)。最后进入 mlp1 连接器:
LayerNorm(4096) → Linear(4096→4096) → GELU → Linear(4096→4096)
这一步把 ViT 的 4096 维特征对齐到 InternLM2 的 hidden_size(4096),完成"视觉语言"的最后一公里。
💡 对比:不做压缩时每帧需要 1024 个 token,压到 64 个后压缩比高达 16 倍——这正是"小时级长视频也能装进 32K 上下文"的秘密。
第三件:InternLM2-7B 语言模型负责"思考与表达"
🧠 语言模型采用 InternLM2-7B(config.json 的 llm_config),关键参数:
| 参数 | 值 | 作用 |
|---|---|---|
hidden_size |
4096 | 与 MLP 连接器输出维度对齐 |
num_hidden_layers |
32 | 解码器深度 |
num_key_value_heads |
8 | GQA 分组注意力,加速推理 |
max_position_embeddings |
32768 | 32K 长上下文 |
rope_scaling |
dynamic × 2.0 | 动态 RoPE 外推,稳定长序列 |
vocab_size |
92553 | 含视觉专用 token |
模型类实现见 modeling_internlm2.py 中的 InternLM2Model 与 InternLM2ForCausalLM。
协作细节:视觉特征如何"坐进"语言序列
⚙️ 三件套真正的衔接发生在 token 替换环节,机制非常巧妙:
- 对话文本中每帧画面写作占位符
Frame1: <image>; chat方法(modeling_internvl_chat_hico.py)把<image>展开为<img>+ 64 × num_patches 个<IMG_CONTEXT>+</img>;- 前向传播时,凡
input_ids中等于<IMG_CONTEXT>的位置,其词嵌入被直接替换为 ViT 输出的视觉 token(L231-L239); - 语言模型从此"看到"视觉特征,逐 token 生成回答。
涉及的视觉专用 token 定义在 added_tokens.json:<img>(92544)、<IMG_CONTEXT>(92546)、</img>(92545) 等。对话格式由 conversation.py 中注册的 internvl2_5 模板控制,系统提示词即"书生·万象"自我介绍;停止 token 由 generation_config.json 指定。
快速上手:下载并跑通 InternVL2.5_HiCo_R64
一键克隆仓库:
git clone https://gitcode.com/OpenGVLab/InternVL_2_5_HiCo_R64
安装依赖(参考 README.md):
pip install transformers==4.40.1 av imageio decord opencv-python
pip install flash-attn --no-build-isolation
最小可运行示例(截取自动态抽帧 → 对话的完整链路):
from transformers import AutoModel, AutoTokenizer
model_path = 'OpenGVLab/InternVL_2_5_HiCo_R64'
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().cuda()
pixel_values, num_patches_list = load_video(video_path, num_segments=128, max_num=1)
video_prefix = "".join([f"Frame{i+1}: <image>\n" for i in range(len(num_patches_list))])
question = video_prefix + "Describe this video in detail."
output, history = model.chat(tokenizer, pixel_values, question,
generation_config, num_patches_list=num_patches_list,
history=None, return_history=True)
print(output)
完整抽帧与预处理函数(load_video、dynamic_preprocess)均在 README.md 中给出,可直接复制使用。
核心配置参数速查表
调参或二次开发时,最常接触的字段(均来自 config.json):
| 参数 | 值 | 说明 |
|---|---|---|
downsample_ratio |
0.5 | PixelShuffle 降采样比例 |
min_dynamic_patch / max_dynamic_patch |
1 / 12 | 动态分辨率切块范围 |
local_num_frames |
4(代码内) | HiCo 时序分组窗口 |
num_tome_tokens |
256(代码内) | 每组压缩目标 token 数 |
template |
internvl2_5 | 对话模板名 |
ps_version |
v2 | PixelShuffle 版本(修正转置 bug) |
select_layer |
-1 | 取 ViT 最后一层输出 |
torch_dtype |
bfloat16 | 推荐推理精度 |
组合配置类 InternVLChatConfig 负责把 vision_config + llm_config 拼装成整体模型配置,是理解三件套装配关系的最佳入口。
总结:为什么这套架构值得关注
- 极简的连接器设计:MLP 连接器只有两层全连接,却配合 ToMe 压缩承担了"分辨率-时序-维度"三重对齐;
- 16 倍 token 压缩:R64 让长视频理解的上下文成本降低一个数量级,是 32K 窗口装下 128 帧抽帧的关键;
- 三件套职责清晰:ViT 管"看"、MLP 管"翻译"、LLM 管"说",每块都可独立定位源码文件,便于学习与改造。
如果你正在做多模态视频理解、又苦于长视频的 token 爆炸问题,InternVL2.5_HiCo_R64 的 HiCo 分层压缩思路值得直接借鉴。