InternVL2-26B-AWQ架构拆解:6B InternViT视觉编码器与20B InternLM2如何协同工作完整指南
InternVL2-26B-AWQ架构拆解:6B InternViT视觉编码器与20B InternLM2如何协同工作完整指南
InternVL2-26B-AWQ 是开源多模态大模型 InternVL2-26B 的 4-bit AWQ 量化版本:6B 的 InternViT 视觉编码器负责"看懂图片",20B 的 InternLM2 语言模型负责"生成回答",两者通过 Pixel Shuffle 降采样和 MLP 投影器无缝衔接。本文用通俗的方式拆解这套视觉编码器+语言模型的协同架构,帮助你快速理解它的内部原理与关键配置。
一、先看全景:InternVL2-26B-AWQ 的三大组成部分
可以把这个多模态模型想象成一个"看图说话"的工作团队:
| 组件 | 规模 | 角色 | 对应源码 |
|---|---|---|---|
| InternViT-6B | 约 60 亿参数 | 视觉编码器,把图片切成特征 | modeling_intern_vit.py |
| InternLM2-20B | 约 200 亿参数 | 语言模型,理解并组织语言 | modeling_internlm2.py |
| MLP 投影器(mlp1) | 很小 | 把视觉特征"翻译"成语言模型能懂的向量 | modeling_internvl_chat.py |
模型的整体入口是 InternVLChatModel 类,它把视觉塔和语言塔组装在一起,代码入口在 modeling_internvl_chat.py。所有参数由 config.json 统一管理,vision_config 和 llm_config 两个字段分别描述两个子模型。
二、视觉编码器 InternViT-6B:如何"读懂"一张图片
InternViT 是一个纯 Transformer 视觉编码器(类似 GPT 系列的 Vision Transformer),其核心参数在 configuration_intern_vit.py 中定义:
- patch_size = 14:一张 448×448 的图片被切成 32×32 共 1024 个图块(patch),每个图块变成一个视觉 token;
- hidden_size = 3200,45 层 Transformer:每个 token 在 45 层中不断聚合上下文信息;
- 25 个注意力头 + QK-Norm:
qk_normalization: true让注意力更稳定; - rms_norm 归一化:用 RMSNorm 替代传统 LayerNorm,推理更快。
关键技巧:动态分辨率(Dynamic Resolution)
config.json 中 dynamic_image_size: true、use_thumbnail: true,并允许 1~12 个动态图块(min_dynamic_patch: 1,max_dynamic_patch: 12)。这意味着:
- 图片不会被强制压缩成固定小图,大图可以切成最多 12 个 448×448 的块分别处理;
- 同时还会加入一张"缩略图"(thumbnail)让模型兼顾全局与局部细节。
这就是 InternVL 系列擅长识别图中文字、复杂图表的原因之一——它看得更"细"。
三、20B InternLM2:语言理解与生成中枢
语言模型基于 internlm2-chat-20b,参数可见 config.json 的 llm_config 部分:
- hidden_size = 6144,48 层:比 7B 级别模型宽得多,知识容量充足;
- 48 个注意力头、8 个 KV 头:采用 GQA(分组查询注意力),显存占用更低、推理更快;
- max_position_embeddings = 32768:支持约 3.2 万 token 的超长上下文;
- Dynamic NTK RoPE 缩放(
rope_scaling: dynamic, factor: 3.0):让长文本外推更稳定; - bias: false + RMSNorm:去掉冗余偏置,配合 RMSNorm 提升计算效率。
InternLM2 的实现细节(旋转位置编码、注意力层、对话模板等)都封装在 modeling_internlm2.py 中,对话格式由 conversation.py 的 internlm2-chat 模板控制。
四、核心协同机制:视觉特征如何"注入"语言模型
这是整篇文章的重点——两个子模型如何配合工作。数据流分为四步:
第 1 步:图片 → 视觉特征
ViT 输出 1024 个(448×448 块)特征向量,代码见 extract_feature。
第 2 步:Pixel Shuffle 降采样
downsample_ratio: 0.5 表示用 pixel_shuffle 把相邻 2×2 个 token 的空间信息合并到 1 个 token 上,token 数从 1024 降到 256,维度则从 3200 升到 12800。好处是:语言模型要处理的图像 token 大幅减少,而细节信息几乎不损失。
第 3 步:MLP 投影器对齐维度
mlp1(见 modeling_internvl_chat.py)结构为 LayerNorm → Linear(12800→6144) → GELU → Linear,把 12800 维的视觉向量投影到语言模型的 6144 维隐藏空间,相当于给 ViT 和 InternLM2 装了一个"翻译官"。
第 4 步:替换占位符,送入 LLM 生成
对话文本中有一个特殊的 <IMG_CONTEXT> 占位 token(id = 92546,定义在 added_tokens.json)。在 forward 中,模型把这些占位 token 的 embedding 原地替换为视觉特征,于是语言模型读到的序列变成:
<img> [视觉特征 × 256] </img> 请描述这张图片
之后 InternLM2 就像读普通文本一样读取这些视觉 token,逐 token 生成回答。整个"拼接-替换"过程只需一次矩阵替换,开销极小,这是 InternVL 架构高效的关键设计。
五、AWQ 4-bit 量化:架构不变,推理更快更省
这个仓库与原版 InternVL2-26B 的最大区别是语言模型采用了 AWQ 权重量化(W4A16),配置在 config.json 的 quantization_config 中:
| 参数 | 值 | 含义 |
|---|---|---|
bits |
4 | 权重压缩到 4 bit |
group_size |
128 | 每 128 个权重共享一组缩放参数 |
zero_point |
true | 带零点的非对称量化 |
AWQ 算法通过保护"显著权重"来降低量化误差,显存占用大约降到 FP16 的 1/4,配合 LMDeploy 的高性能 CUDA kernel,推理速度最快可达 FP16 的 2.4 倍。支持的显卡包括 Turing(20 系/T4)、Ampere(30 系/A 系列)和 Ada(40 系),详见 README.md。
推理时只需安装依赖并调用 pipeline:
pip install lmdeploy>=0.5.3
from lmdeploy import pipeline, TurbomindEngineConfig
pipe = pipeline('OpenGVLab/InternVL2-26B-AWQ',
backend_config=TurbomindEngineConfig(model_format='awq'))
response = pipe(('describe this image', image))
也可以用一条命令起 OpenAI 兼容的 API 服务:
lmdeploy serve api_server OpenGVLab/InternVL2-26B-AWQ --server-port 23333 --model-format awq
六、快速上手检查清单
- 📦 文件清单:13 个分片权重(
pytorch_model-00001-of-00013.bin~00013)+ 索引 pytorch_model.bin.index.json,另有key_stats.pth、inputs_stats.pth等量化校准文件; - 🏷️ 分词器:基于 SentencePiece 的 tokenizer.model,词表 92553,新增了
<img>、<IMG_CONTEXT>、<box>等多模态专用 token; - 🖼️ 图像预处理:由 preprocessor_config.json 定义,统一缩放到 448×448,使用 ImageNet 均值方差归一化;
- ⚙️ 生成配置:generation_config.json 指定了两个结束符 eos token;
- 🔢 每块图片消耗 256 个图像 token:由
(448/14)² × 0.5²计算得出,12 块动态图块时一张大图最多产生 3072 个视觉 token,注意长上下文显存开销。
七、总结:这套架构好在哪里?
InternVL2-26B-AWQ 的架构可以归纳为三句话:
- 6B InternViT 负责"看":动态分辨率 + 缩略图机制,细节和全局兼得;
- Pixel Shuffle + MLP 投影负责"翻译":token 数量降 4 倍、信息不丢失,视觉与语言空间平滑对齐;
- 20B InternLM2 + AWQ 4-bit 负责"说":GQA + 长上下文 RoPE 保证能力,量化保证显存和速度。
理解了这个"视觉编码 → 降采样投影 → 占位符替换 → 语言生成"的主线,你就掌握了 InternVL 整个系列的架构精髓,也就能看懂后续 2.5 版本的演进方向了。
