InternVL3_5-8B-Flash 架构解析:ViT–MLP–LLM 范式、Qwen3 底座与 InternViT-300M 全解

原创2026-10-16 13:09:251,914 阅读

InternVL3_5-8B-Flash 架构解析:ViT–MLP–LLM 范式、Qwen3 底座与 InternViT-300M 全解

InternVL3_5-8B-Flash 是 InternVL3.5 系列中专为资源受限场景打造的高效多模态大语言模型(MLLM),总参数约 8.5B、磁盘占用约 17.6GB。它沿用经典的 ViT–MLP–LLM 三段式架构:视觉侧是 0.3B 的 InternViT-300M 编码器,语言侧以 Qwen3-8B 为底座,中间通过 Pixel Shuffle + MLP 做特征桥接。本文带你读懂它的内部构造,以及 Flash 版本如何用**视觉分辨率路由器(ViR)**把视觉 token 再砍掉 50%,同时几乎不损失性能。


一、整体架构:ViT–MLP–LLM 三段式 🏗️

InternVL 系列一贯采用 "ViT–MLP–LLM" 范式,InternVL3_5-8B-Flash 也不例外。整条前向链路可以概括为:

图像切块(Dynamic Tile) → InternViT-300M 提特征 → Pixel Shuffle 压缩 → MLP 投影对齐 → Qwen3-8B 生成回答

各组件在仓库中的落点如下:

组件 职责 对应文件
顶层模型 组装视觉塔、语言塔与连接器 modeling_internvl_chat.py
视觉编码器 图像 patch 嵌入与 Transformer 编码 modeling_intern_vit.py
顶层配置 声明三段结构与关键超参 config.json
视觉塔配置 InternViT 的层数、hidden 等参数 configuration_intern_vit.py
对话模板 internvl2_5 提示词格式 conversation.py

InternVLChatModel 在初始化时按配置实例化 vision_model(InternVisionModel)与 language_model(Qwen3ForCausalLM),见 modeling_internvl_chat.py#L148-L216。


二、InternViT-300M:轻量但强壮的视觉编码器 👁️

Flash 版本搭配的是 InternVL 家族中最小的 InternViT-300M。从 config.json 的 vision_config 可以看到它的核心规格:

  • 层数:24 层 Transformer 编码器
  • hidden_size:1024,注意力头 16 个
  • patch_size:14,输入图块(tile)尺寸 448×448(force_image_size)
  • 归一化:LayerNorm,支持 Flash Attention(use_flash_attn: true)

一个 448×448 的图块被切成 32×32=1024 个 patch,经过 24 层编码后输出 1024 个 1024 维视觉 token。视觉塔的具体实现包括 InternVisionEmbeddings(带可插值的位置编码)、InternAttention 与 InternMLP,都定义在 modeling_intern_vit.py 中。

📌 动态高分辨率策略(Dynamic Tile):InternVL 保留了自 1.5 版本起沿用的高分设计——根据图像长宽比将其动态切分为 1~12 个 448 图块(min_dynamic_patch: 1、max_dynamic_patch: 12),并追加一张缩略图(use_thumbnail: true)。每张图因此产生若干图块,每个图块独立走一遍视觉塔。


三、Pixel Shuffle + MLP:1024 变 256 的压缩桥 🌉

视觉塔输出的 token 数太多,直接喂给 LLM 代价高昂。InternVL 的解法是 Pixel Shuffle(像素重排)+ MLP 投影,实现于 modeling_internvl_chat.py#L373-L387:

  • 以 downsample_ratio=0.5 做空间 2×2 重排:32×32 的 token 网格变成 16×16,token 数从 1024 降到 256,通道数相应 ×4;
  • 重排后的特征送入 mlp1 做投影与降维,把 1024×4=4096 维的拼接向量映射到 LLM 的 4096 维词嵌入空间,见 modeling_internvl_chat.py#L188-L193。

也就是说,每个 448 图块最终交给 Qwen3 的是 256 个视觉 token(num_image_token 在初始化时按公式计算,modeling_internvl_chat.py#L157)。这些 token 会替换掉提示词中 <IMG_CONTEXT> 占位符的嵌入——该特殊 token 定义在 added_tokens.json 中。


四、Qwen3-8B 语言底座:32K 上下文的推理担当 🧠

语言塔选用 Qwen3-8B(Qwen3ForCausalLM),配置位于 config.json 的 llm_config 字段:

参数 取值 说明
num_hidden_layers 36 解码器层数
hidden_size 4096 与 mlp1 输出维度对齐
num_attention_heads / num_key_value_heads 32 / 8 GQA 分组查询注意力
max_position_embeddings 40960 支持 32K 级长上下文
vocab_size 151936 Qwen3 词表

Qwen3 带来的不只是语言理解与代码能力,还内建了 Thinking 思考模式:设置指定的系统提示词后,模型会在 </think> 标签内先展开逐步推理再给出答案(相关特殊 token 同样在 added_tokens.json 中注册)。多轮对话的提示词拼装则交给 template: internvl2_5 模板,实现见 conversation.py。

权重侧可以直观看到规模分工:4 个 model-0000X-of-00004.safetensors 分片共约 17.6GB,其中 language_model.* 占 399 个张量(Qwen3 主体),vision_model.* 占 340 个张量(ViT 主体),完整映射见 model.safetensors.index.json。


五、Flash 的灵魂:视觉分辨率路由器(ViR)🚀

这是 InternVL3_5-8B-Flash 区别于普通版的核心。在 config.json 中由三个开关控制:

"flash_mode": true,
"flash_relative_threshold": 0.1,
"flash_absolute_threshold": 0.5

5.1 为什么要再压缩?

普通版每个图块已把 1024 token 压到 256;Flash 版在此基础上引入一条更高压缩比的路径——再经一次 Pixel Shuffle(scale_factor=0.25)把 256 token 压到 64 token,并送入专用的深层连接器 mlp2(输入 16384 维,最终投影到 4096 维),见 modeling_internvl_chat.py#L195-L204。

5.2 谁来决定压不压?

extract_feature_flash(modeling_internvl_chat.py#L404-L434)会同时算出两份特征:256 版与 64 版,然后交给路由模块判断每个 token 块走哪条路:

  • CrossAttentionPooling(modeling_internvl_chat.py#L79-L132):用 4 层多头交叉注意力 + 可学习 query token,把每个图块的 1024 个视觉特征池化成 1 个"语义摘要";
  • Gating(modeling_internvl_chat.py#L36-L76):4 个 MLP 块 + 2 路门控头,输出"压缩/不压缩"的 softmax 概率,本质是一个语义丰富度评估器——背景天空等简单区域可以狠压,文字密排区则保留细节。

5.3 推理时的路由规则

在 generate_flash(modeling_internvl_chat.py#L562-L630)中,路由采用双重条件:

  1. 计算全部块门控概率的 10% 分位数(flash_relative_threshold=0.1);
  2. 只有概率同时 高于该分位数 且 ≥ 0.5(flash_absolute_threshold)的块才走 64 token 压缩路径。

被选中压缩的块会直接丢弃每个 256-token 段中后 192 个占位(modeling_internvl_chat.py#L219-L278),只保留 64 个。整体上,Flash 版约能减少 50% 的视觉 token 数,而性能保持在普通版 InternVL3.5 的近 100%。

💡 这套路由能力来自训练中的 **ViCO(Visual Consistency Learning)**阶段:先让模型在不同压缩率下输出分布一致,再把路由器当成二分类器,按"压缩导致损失是否显著"生成标签来训练,训练时冻结主模型、只更新 ViR。


六、快速上手与部署要点 ⚡

  • 加载方式:标准 Hugging Face 方式即可(AutoModel.from_pretrained(path, trust_remote_code=True)),仓库内附带的 configuration_internvl_chat.py、modeling_internvl_chat.py 就是被信任加载的自定义代码;官方建议 transformers>=4.52.1。
  • 显存要求:8B 级模型可在单张 A100 上以 bf16 运行,也支持 8-bit 量化与多卡 device_map="auto" 切分。
  • 对话接口:model.chat(tokenizer, pixel_values, question, generation_config) 支持纯文本、单图、多图与视频多轮对话;<image> 占位符会被自动展开为 <img> + 256×图块数个 <IMG_CONTEXT> + </img>(modeling_internvl_chat.py#L505-L559)。
  • 推理引擎:LMDeploy 与 vLLM 均已支持该系列,一行命令即可起 OpenAI 兼容的 API 服务。
  • 对话格式细节:chat_template.jinja 定义了 jinja 版模板,processor_config.json 与 preprocessor_config.json 描述了图像预处理参数(448 输入、ImageNet 归一化均值方差)。

七、一图看懂核心超参 📋

维度 数值 来源
视觉塔 InternViT-300M(24 层 / d=1024 / patch 14) config.json vision_config
语言塔 Qwen3-8B(36 层 / d=4096 / 32K 上下文) config.json llm_config
图块输入 448×448,动态 1~12 块 + 缩略图 force_image_size / max_dynamic_patch
常规视觉 token 1024 → 256/图块 downsample_ratio=0.5
Flash 压缩 token 256 → 64/图块(mlp2 路径) modeling_internvl_chat.py#L404-L434
路由阈值 相对 10% 分位 + 绝对 0.5 flash_relative/absolute_threshold
权重规模 4 分片,合计约 17.6GB model.safetensors.index.json

小结:InternVL3_5-8B-Flash = InternViT-300M 感知 + Qwen3-8B 认知 + Pixel Shuffle 压缩 + ViR 智能路由,是一套在"能力"与"效率"之间取得精妙平衡的多模态架构,8B 的体量即可在单卡上跑通完整的看图、推理与思考流程。

登录后查看全文
InternVL3_5-8B-Flash