InternImage可变形卷积视觉基础模型入门:internimage_l_22k_384架构全景与性能完全解读

原创2026-10-18 17:14:401,831 阅读

InternImage可变形卷积视觉基础模型入门:internimage_l_22k_384架构全景与性能完全解读

📌 InternImage 是由上海人工智能实验室(Shanghai AI Lab)、清华大学等机构提出的视觉基础模型(Vision Foundation Model),它以 DCNv3 可变形卷积为核心算子,突破了传统 Transformer 架构的限制,在 ImageNet 分类、COCO 检测等 17 项基准上刷新了开源纪录。本文带你完整解读 internimage_l_22k_384 这个 2.23 亿参数、ImageNet-22K 预训练 的骨干模型,从架构原理到上手使用,一篇讲透。

一、为什么 InternImage 值得关注?💡

大多数视觉大模型(如 ViT、DINOv2)都以 Transformer 的自注意力机制 为核心,而 InternImage 选择了一条不同路径:

  • 动态感受野:DCNv3 可变形卷积的采样位置由输入图像自适应决定,能针对不同任务"按需"扩大或缩小感受野,天然适合目标检测、分割等需要大范围空间感知的下游任务;
  • 自适应空间聚合:每个采样点都带有可学习的注意力权重(mask),实现比固定卷积核更精细的特征融合;
  • 性能统治级:InternImage 系列以公开数据在 ImageNet 上取得 90.1% Top-1 准确率,是当时唯一的开源 90%+ 模型;在 COCO 检测上更是以 65.5 mAP 成为全球唯一突破 65 mAP 的模型,并在另外 16 个视觉基准上拿下全球最佳(详见 README.md 的 Performance 章节)。

二、认识主角:internimage_l_22k_384 模型速览 🎯

本仓库提供的是 InternImage 家族中的 L(Large) 规格预训练权重,命名本身就是一种"档案":

项目 值 含义
模型规格 L 223M 参数,L 档规模
预训练数据 22k ImageNet-22K(22000 类)
输入分辨率 384 384×384 像素

InternImage 完整家族还包括 T/S/B(ImageNet-1K 预训练)、L/XL(本文主角所在档位)以及 H/G 两个超大规格(1.08B / 3B 参数),完整清单见 README.md 的 Released Models 表格。internimage_l_22k_384 作为 骨干(backbone) 发布,输出四阶段的多尺度特征,既可以接分类头做图像分类,也可以直接嵌入检测、分割等下游框架。

三、架构全景:一次前向传播的完整旅程 🔍

1. 输入与 Stem 下采样层

图像预处理由 preprocessor_config.json 定义:缩放到 384×384、中心裁剪,并用 ImageNet 标准均值 [0.485, 0.456, 0.406] 和标准差 [0.229, 0.224, 0.225] 归一化。

进入模型后,第一站是 StemLayer(modeling_internimage.py):两个 3×3 卷积 + BN + GELU,步长均为 2,把 384×384 的特征图压缩到 96×96,同时通道数升到 160(对应 config.json 中的 "channels": 160)。

2. 四阶段主干:Stem 之后的深层网络

主干由 4 个 InternImageBlock(Stage)级联而成,关键超参来自 config.json:

超参数 取值 作用
depths [5, 5, 22, 5] 每个 Stage 堆叠 37 个基本层,第 3 阶段最深
groups [10, 20, 40, 80] 每阶段的分组卷积数(即注意力头数)
channels 160 首阶段通道数,之后每阶段翻倍
mlp_ratio 4.0 MLP 隐藏层膨胀比
layer_scale 1e-05 LayerScale 初始化值,稳定大模型训练
post_norm true 采用后归一化结构
offset_scale 2.0 DCNv3 可变形偏移的缩放系数

每个 Stage 内先顺序执行 depths<a href="https://link.gitcode.com/i/54c29d85086a4455f9e123181ef24152" target="_blank">i] 个 InternImageLayer,再通过 DownsampleLayer(3×3 卷积、步长 2)把特征图减半、通道翻倍([modeling_internimage.py)。单个基本层的结构非常清晰(modeling_internimage.py):

输入 → LN → DCNv3 → 残差 → LN → MLP(4倍宽) → 残差 → 输出

由于 post_norm=true,归一化被放在 DCNv3 和 MLP 之后(即 x + norm(dcn(x)) 形式),这是 InternImage 系列的重要结构选择;layer_scale=1e-05 的残差缩放则保证深层网络训练初期的稳定。

3. 灵魂算子:DCNv3 可变形卷积 🔥

DCNv3 是整个模型的灵魂,实现在 dcnv3.py。它的工作流程(参见 dcnv3.py 的 forward):

  1. 投影:输入先经 input_proj(1×1 线性投影)得到参与聚合的特征;
  2. 偏移与权重预测:原始输入经过 3×3 深度卷积 + LN + GELU 后,两个线性层分别预测 offset(采样点偏移量) 和 mask(每个采样点的注意力权重,经 softmax 归一化);
  3. 可变形聚合:在 3×3 网格的每个采样位置加上预测的 offset,按 mask 加权聚合特征——采样位置完全由当前图像内容决定,感受野因此"活"了起来;
  4. 输出投影:output_proj 完成最终投影。

offset_scale=2.0 控制偏移幅度,决定了模型能"看"多远。值得注意的是,仓库同时提供了 CUDA 加速版(dcnv3.py)与 纯 PyTorch 版(dcnv3_func.py),加载时会自动检测:

💡 若检测到 CUDA 内核,打印 DCNv3 is installed, using CUDA implementation.;否则自动回退到 PyTorch 实现并提示 DCNv3 is not installed, using PyTorch implementation.(modeling_internimage.py)。即使不安装 CUDA 内核,模型也能直接跑,只是显存占用和推理速度会差一些。

4. 输出:双模式的 Transformers 接口

仓库暴露了两个 Transformers 兼容类(modeling_internimage.py):

  • InternImageModel(backbone 模式):num_classes=0,不接分类头,返回四阶段的 hidden_states 多尺度特征——检测/分割框架最爱用;
  • InternImageModelForImageClassification(分类模式):接 1×1 卷积膨胀头(cls_scale=1.5)+ 全局平均池化 + 线性层,输出 21841 类(ImageNet-22K 类别数)的 logits。

四、性能表现:开源界的"卷王" 🏆

根据 README.md 的 Performance 章节:

  • ImageNet 分类:InternImage-G 以公开数据取得 90.1% Top-1,是除 Google、微软两个未开源模型外,全球唯一突破 90% 的模型;
  • COCO 检测:65.5 mAP,全球唯一超过 65 mAP 的模型;
  • 16 个视觉基准:覆盖分类、检测、分割等任务的全球最佳成绩。

对于本文的 L 档骨干,其对应的 ImageNet-1K 微调版 internimage_l_22kto1k_384 可达 87.7% Top-1(223M 参数、108G FLOPs),参数效率非常可观——这个量级的骨干在检测、分割等密集预测任务上往往比同规模的 ViT 更有优势。

五、三步上手:从克隆到推理 🚀

第 1 步:获取模型

git clone https://gitcode.com/OpenGVLab/internimage_l_22k_384

第 2 步(可选):安装 DCNv3 CUDA 内核

未安装时模型会自动回退到 PyTorch 实现,功能不受影响;若需更快的推理和更低的显存占用,可按 README.md 的教程编译 ops_dcnv3 目录下的 CUDA 内核(需要可用 GPU,执行 sh make.sh 即可完成)。

第 3 步:加载模型

仓库通过 auto_map(config.json)注册了自动加载入口,用 Transformers 几行代码即可用起来:

  • 当 backbone 用(取多尺度特征):AutoModel.from_pretrained(..., trust_remote_code=True),取 model(pixel_values).hidden_states;
  • 当分类器用:AutoModelForImageClassification.from_pretrained(..., trust_remote_code=True),取 logits 后 argmax 得到类别。

完整可运行的示例代码(含图像预处理:CLIPImageProcessor 加载 384×384 像素值)见 README.md 的 Usage with Transformers 章节。

六、仓库核心文件导航 📂

文件 说明
config.json 模型架构超参数:depths、groups、channels、offset_scale 等
configuration_internimage.py InternImageConfig 配置类,每个超参都有详细注释
modeling_internimage.py 主干实现:Stem、Block、DCNv3 层、两个 Transformers 模型类
dcnv3.py DCNv3 可变形卷积模块(CUDA 版 + PyTorch 版)
dcnv3_func.py DCNv3 的核心采样聚合函数与 CUDA 内核封装
preprocessor_config.json 384 输入、ImageNet 归一化等预处理配置
model.safetensors 223M 预训练权重
README.md 模型卡:性能数据、家族清单、使用示例

七、常见问题 FAQ ❓

Q1:没有 NVIDIA GPU / 不想编译 CUDA 内核,能跑吗? 能。模型会自动回退到 DCNv3_pytorch 纯 PyTorch 实现(modeling_internimage.py),CPU 上推理完全可行,只是速度较慢。

Q2:这个模型输出 21841 个类别,我想识别 1000 类怎么办? 直接用它做下游任务的骨干(backbone 模式)最灵活;若坚持做 1K 分类,可加载微调好的 internimage_l_22kto1k_384 权重,或自行在 22K 权重基础上继续训练分类头。

Q3:hidden_states 里的四个张量是什么? 分别是 4 个 Stage 的输出特征(return_wo_downsample 截获的下采样前特征,modeling_internimage.py),空间尺寸依次为 96×96、48×48、24×24、12×12,通道数 160/320/640/1280 翻倍递增,可直接对接 FPN 类结构。

写在最后 ✨

internimage_l_22k_384 展示了 可变形卷积在大规模视觉基础模型中的巨大潜力:不依赖自注意力,仅凭 DCNv3 的动态感受野与自适应聚合,就在 17 项基准上证明了 Conv 路线的竞争力。对于需要多尺度特征的检测、分割任务开发者来说,这个 223M 的 22K 预训练骨干是当下开源生态中值得重点评估的选择。

论文引用:InternImage: Exploring Large-Scale Vision Foundation Models with Deformable Convolutions(CVPR 2023),BibTeX 信息见 README.md。

登录后查看全文
internimage_l_22k_384