InternVL3_5-8B-Flash 架构解析:ViT–MLP–LLM 范式、Qwen3 底座与 InternViT-300M 全解
InternVL3_5-8B-Flash 架构解析:ViT–MLP–LLM 范式、Qwen3 底座与 InternViT-300M 全解
InternVL3_5-8B-Flash 是 InternVL3.5 系列中专为资源受限场景打造的高效多模态大语言模型(MLLM),总参数约 8.5B、磁盘占用约 17.6GB。它沿用经典的 ViT–MLP–LLM 三段式架构:视觉侧是 0.3B 的 InternViT-300M 编码器,语言侧以 Qwen3-8B 为底座,中间通过 Pixel Shuffle + MLP 做特征桥接。本文带你读懂它的内部构造,以及 Flash 版本如何用**视觉分辨率路由器(ViR)**把视觉 token 再砍掉 50%,同时几乎不损失性能。
一、整体架构:ViT–MLP–LLM 三段式 🏗️
InternVL 系列一贯采用 "ViT–MLP–LLM" 范式,InternVL3_5-8B-Flash 也不例外。整条前向链路可以概括为:
图像切块(Dynamic Tile) → InternViT-300M 提特征 → Pixel Shuffle 压缩 → MLP 投影对齐 → Qwen3-8B 生成回答
各组件在仓库中的落点如下:
| 组件 | 职责 | 对应文件 |
|---|---|---|
| 顶层模型 | 组装视觉塔、语言塔与连接器 | modeling_internvl_chat.py |
| 视觉编码器 | 图像 patch 嵌入与 Transformer 编码 | modeling_intern_vit.py |
| 顶层配置 | 声明三段结构与关键超参 | config.json |
| 视觉塔配置 | InternViT 的层数、hidden 等参数 | configuration_intern_vit.py |
| 对话模板 | internvl2_5 提示词格式 | conversation.py |
InternVLChatModel 在初始化时按配置实例化 vision_model(InternVisionModel)与 language_model(Qwen3ForCausalLM),见 modeling_internvl_chat.py#L148-L216。
二、InternViT-300M:轻量但强壮的视觉编码器 👁️
Flash 版本搭配的是 InternVL 家族中最小的 InternViT-300M。从 config.json 的 vision_config 可以看到它的核心规格:
- 层数:24 层 Transformer 编码器
- hidden_size:1024,注意力头 16 个
- patch_size:14,输入图块(tile)尺寸 448×448(
force_image_size) - 归一化:LayerNorm,支持 Flash Attention(
use_flash_attn: true)
一个 448×448 的图块被切成 32×32=1024 个 patch,经过 24 层编码后输出 1024 个 1024 维视觉 token。视觉塔的具体实现包括 InternVisionEmbeddings(带可插值的位置编码)、InternAttention 与 InternMLP,都定义在 modeling_intern_vit.py 中。
📌 动态高分辨率策略(Dynamic Tile):InternVL 保留了自 1.5 版本起沿用的高分设计——根据图像长宽比将其动态切分为 1~12 个 448 图块(min_dynamic_patch: 1、max_dynamic_patch: 12),并追加一张缩略图(use_thumbnail: true)。每张图因此产生若干图块,每个图块独立走一遍视觉塔。
三、Pixel Shuffle + MLP:1024 变 256 的压缩桥 🌉
视觉塔输出的 token 数太多,直接喂给 LLM 代价高昂。InternVL 的解法是 Pixel Shuffle(像素重排)+ MLP 投影,实现于 modeling_internvl_chat.py#L373-L387:
- 以
downsample_ratio=0.5做空间 2×2 重排:32×32 的 token 网格变成 16×16,token 数从 1024 降到 256,通道数相应 ×4; - 重排后的特征送入
mlp1做投影与降维,把 1024×4=4096 维的拼接向量映射到 LLM 的 4096 维词嵌入空间,见 modeling_internvl_chat.py#L188-L193。
也就是说,每个 448 图块最终交给 Qwen3 的是 256 个视觉 token(num_image_token 在初始化时按公式计算,modeling_internvl_chat.py#L157)。这些 token 会替换掉提示词中 <IMG_CONTEXT> 占位符的嵌入——该特殊 token 定义在 added_tokens.json 中。
四、Qwen3-8B 语言底座:32K 上下文的推理担当 🧠
语言塔选用 Qwen3-8B(Qwen3ForCausalLM),配置位于 config.json 的 llm_config 字段:
| 参数 | 取值 | 说明 |
|---|---|---|
num_hidden_layers |
36 | 解码器层数 |
hidden_size |
4096 | 与 mlp1 输出维度对齐 |
num_attention_heads / num_key_value_heads |
32 / 8 | GQA 分组查询注意力 |
max_position_embeddings |
40960 | 支持 32K 级长上下文 |
vocab_size |
151936 | Qwen3 词表 |
Qwen3 带来的不只是语言理解与代码能力,还内建了 Thinking 思考模式:设置指定的系统提示词后,模型会在 </think> 标签内先展开逐步推理再给出答案(相关特殊 token 同样在 added_tokens.json 中注册)。多轮对话的提示词拼装则交给 template: internvl2_5 模板,实现见 conversation.py。
权重侧可以直观看到规模分工:4 个 model-0000X-of-00004.safetensors 分片共约 17.6GB,其中 language_model.* 占 399 个张量(Qwen3 主体),vision_model.* 占 340 个张量(ViT 主体),完整映射见 model.safetensors.index.json。
五、Flash 的灵魂:视觉分辨率路由器(ViR)🚀
这是 InternVL3_5-8B-Flash 区别于普通版的核心。在 config.json 中由三个开关控制:
"flash_mode": true,
"flash_relative_threshold": 0.1,
"flash_absolute_threshold": 0.5
5.1 为什么要再压缩?
普通版每个图块已把 1024 token 压到 256;Flash 版在此基础上引入一条更高压缩比的路径——再经一次 Pixel Shuffle(scale_factor=0.25)把 256 token 压到 64 token,并送入专用的深层连接器 mlp2(输入 16384 维,最终投影到 4096 维),见 modeling_internvl_chat.py#L195-L204。
5.2 谁来决定压不压?
extract_feature_flash(modeling_internvl_chat.py#L404-L434)会同时算出两份特征:256 版与 64 版,然后交给路由模块判断每个 token 块走哪条路:
CrossAttentionPooling(modeling_internvl_chat.py#L79-L132):用 4 层多头交叉注意力 + 可学习 query token,把每个图块的 1024 个视觉特征池化成 1 个"语义摘要";Gating(modeling_internvl_chat.py#L36-L76):4 个 MLP 块 + 2 路门控头,输出"压缩/不压缩"的 softmax 概率,本质是一个语义丰富度评估器——背景天空等简单区域可以狠压,文字密排区则保留细节。
5.3 推理时的路由规则
在 generate_flash(modeling_internvl_chat.py#L562-L630)中,路由采用双重条件:
- 计算全部块门控概率的 10% 分位数(
flash_relative_threshold=0.1); - 只有概率同时 高于该分位数 且 ≥ 0.5(
flash_absolute_threshold)的块才走 64 token 压缩路径。
被选中压缩的块会直接丢弃每个 256-token 段中后 192 个占位(modeling_internvl_chat.py#L219-L278),只保留 64 个。整体上,Flash 版约能减少 50% 的视觉 token 数,而性能保持在普通版 InternVL3.5 的近 100%。
💡 这套路由能力来自训练中的 **ViCO(Visual Consistency Learning)**阶段:先让模型在不同压缩率下输出分布一致,再把路由器当成二分类器,按"压缩导致损失是否显著"生成标签来训练,训练时冻结主模型、只更新 ViR。
六、快速上手与部署要点 ⚡
- 加载方式:标准 Hugging Face 方式即可(
AutoModel.from_pretrained(path, trust_remote_code=True)),仓库内附带的configuration_internvl_chat.py、modeling_internvl_chat.py就是被信任加载的自定义代码;官方建议transformers>=4.52.1。 - 显存要求:8B 级模型可在单张 A100 上以 bf16 运行,也支持 8-bit 量化与多卡
device_map="auto"切分。 - 对话接口:
model.chat(tokenizer, pixel_values, question, generation_config)支持纯文本、单图、多图与视频多轮对话;<image>占位符会被自动展开为<img>+ 256×图块数个<IMG_CONTEXT>+</img>(modeling_internvl_chat.py#L505-L559)。 - 推理引擎:LMDeploy 与 vLLM 均已支持该系列,一行命令即可起 OpenAI 兼容的 API 服务。
- 对话格式细节:
chat_template.jinja定义了 jinja 版模板,processor_config.json与preprocessor_config.json描述了图像预处理参数(448 输入、ImageNet 归一化均值方差)。
七、一图看懂核心超参 📋
| 维度 | 数值 | 来源 |
|---|---|---|
| 视觉塔 | InternViT-300M(24 层 / d=1024 / patch 14) | config.json vision_config |
| 语言塔 | Qwen3-8B(36 层 / d=4096 / 32K 上下文) | config.json llm_config |
| 图块输入 | 448×448,动态 1~12 块 + 缩略图 | force_image_size / max_dynamic_patch |
| 常规视觉 token | 1024 → 256/图块 | downsample_ratio=0.5 |
| Flash 压缩 token | 256 → 64/图块(mlp2 路径) | modeling_internvl_chat.py#L404-L434 |
| 路由阈值 | 相对 10% 分位 + 绝对 0.5 | flash_relative/absolute_threshold |
| 权重规模 | 4 分片,合计约 17.6GB | model.safetensors.index.json |
小结:InternVL3_5-8B-Flash = InternViT-300M 感知 + Qwen3-8B 认知 + Pixel Shuffle 压缩 + ViR 智能路由,是一套在"能力"与"效率"之间取得精妙平衡的多模态架构,8B 的体量即可在单卡上跑通完整的看图、推理与思考流程。