InternImage可变形卷积视觉基础模型入门:internimage_l_22k_384架构全景与性能完全解读
InternImage可变形卷积视觉基础模型入门:internimage_l_22k_384架构全景与性能完全解读
📌 InternImage 是由上海人工智能实验室(Shanghai AI Lab)、清华大学等机构提出的视觉基础模型(Vision Foundation Model),它以 DCNv3 可变形卷积为核心算子,突破了传统 Transformer 架构的限制,在 ImageNet 分类、COCO 检测等 17 项基准上刷新了开源纪录。本文带你完整解读 internimage_l_22k_384 这个 2.23 亿参数、ImageNet-22K 预训练 的骨干模型,从架构原理到上手使用,一篇讲透。
一、为什么 InternImage 值得关注?💡
大多数视觉大模型(如 ViT、DINOv2)都以 Transformer 的自注意力机制 为核心,而 InternImage 选择了一条不同路径:
- 动态感受野:DCNv3 可变形卷积的采样位置由输入图像自适应决定,能针对不同任务"按需"扩大或缩小感受野,天然适合目标检测、分割等需要大范围空间感知的下游任务;
- 自适应空间聚合:每个采样点都带有可学习的注意力权重(mask),实现比固定卷积核更精细的特征融合;
- 性能统治级:InternImage 系列以公开数据在 ImageNet 上取得 90.1% Top-1 准确率,是当时唯一的开源 90%+ 模型;在 COCO 检测上更是以 65.5 mAP 成为全球唯一突破 65 mAP 的模型,并在另外 16 个视觉基准上拿下全球最佳(详见 README.md 的 Performance 章节)。
二、认识主角:internimage_l_22k_384 模型速览 🎯
本仓库提供的是 InternImage 家族中的 L(Large) 规格预训练权重,命名本身就是一种"档案":
| 项目 | 值 | 含义 |
|---|---|---|
| 模型规格 | L | 223M 参数,L 档规模 |
| 预训练数据 | 22k | ImageNet-22K(22000 类) |
| 输入分辨率 | 384 | 384×384 像素 |
InternImage 完整家族还包括 T/S/B(ImageNet-1K 预训练)、L/XL(本文主角所在档位)以及 H/G 两个超大规格(1.08B / 3B 参数),完整清单见 README.md 的 Released Models 表格。internimage_l_22k_384 作为 骨干(backbone) 发布,输出四阶段的多尺度特征,既可以接分类头做图像分类,也可以直接嵌入检测、分割等下游框架。
三、架构全景:一次前向传播的完整旅程 🔍
1. 输入与 Stem 下采样层
图像预处理由 preprocessor_config.json 定义:缩放到 384×384、中心裁剪,并用 ImageNet 标准均值 [0.485, 0.456, 0.406] 和标准差 [0.229, 0.224, 0.225] 归一化。
进入模型后,第一站是 StemLayer(modeling_internimage.py):两个 3×3 卷积 + BN + GELU,步长均为 2,把 384×384 的特征图压缩到 96×96,同时通道数升到 160(对应 config.json 中的 "channels": 160)。
2. 四阶段主干:Stem 之后的深层网络
主干由 4 个 InternImageBlock(Stage)级联而成,关键超参来自 config.json:
| 超参数 | 取值 | 作用 |
|---|---|---|
depths |
[5, 5, 22, 5] | 每个 Stage 堆叠 37 个基本层,第 3 阶段最深 |
groups |
[10, 20, 40, 80] | 每阶段的分组卷积数(即注意力头数) |
channels |
160 | 首阶段通道数,之后每阶段翻倍 |
mlp_ratio |
4.0 | MLP 隐藏层膨胀比 |
layer_scale |
1e-05 | LayerScale 初始化值,稳定大模型训练 |
post_norm |
true | 采用后归一化结构 |
offset_scale |
2.0 | DCNv3 可变形偏移的缩放系数 |
每个 Stage 内先顺序执行 depths<a href="https://link.gitcode.com/i/54c29d85086a4455f9e123181ef24152" target="_blank">i] 个 InternImageLayer,再通过 DownsampleLayer(3×3 卷积、步长 2)把特征图减半、通道翻倍([modeling_internimage.py)。单个基本层的结构非常清晰(modeling_internimage.py):
输入 → LN → DCNv3 → 残差 → LN → MLP(4倍宽) → 残差 → 输出
由于 post_norm=true,归一化被放在 DCNv3 和 MLP 之后(即 x + norm(dcn(x)) 形式),这是 InternImage 系列的重要结构选择;layer_scale=1e-05 的残差缩放则保证深层网络训练初期的稳定。
3. 灵魂算子:DCNv3 可变形卷积 🔥
DCNv3 是整个模型的灵魂,实现在 dcnv3.py。它的工作流程(参见 dcnv3.py 的 forward):
- 投影:输入先经
input_proj(1×1 线性投影)得到参与聚合的特征; - 偏移与权重预测:原始输入经过 3×3 深度卷积 + LN + GELU 后,两个线性层分别预测 offset(采样点偏移量) 和 mask(每个采样点的注意力权重,经 softmax 归一化);
- 可变形聚合:在 3×3 网格的每个采样位置加上预测的 offset,按 mask 加权聚合特征——采样位置完全由当前图像内容决定,感受野因此"活"了起来;
- 输出投影:
output_proj完成最终投影。
offset_scale=2.0 控制偏移幅度,决定了模型能"看"多远。值得注意的是,仓库同时提供了 CUDA 加速版(dcnv3.py)与 纯 PyTorch 版(dcnv3_func.py),加载时会自动检测:
💡 若检测到 CUDA 内核,打印
DCNv3 is installed, using CUDA implementation.;否则自动回退到 PyTorch 实现并提示DCNv3 is not installed, using PyTorch implementation.(modeling_internimage.py)。即使不安装 CUDA 内核,模型也能直接跑,只是显存占用和推理速度会差一些。
4. 输出:双模式的 Transformers 接口
仓库暴露了两个 Transformers 兼容类(modeling_internimage.py):
InternImageModel(backbone 模式):num_classes=0,不接分类头,返回四阶段的hidden_states多尺度特征——检测/分割框架最爱用;InternImageModelForImageClassification(分类模式):接 1×1 卷积膨胀头(cls_scale=1.5)+ 全局平均池化 + 线性层,输出 21841 类(ImageNet-22K 类别数)的 logits。
四、性能表现:开源界的"卷王" 🏆
根据 README.md 的 Performance 章节:
- ImageNet 分类:InternImage-G 以公开数据取得 90.1% Top-1,是除 Google、微软两个未开源模型外,全球唯一突破 90% 的模型;
- COCO 检测:65.5 mAP,全球唯一超过 65 mAP 的模型;
- 16 个视觉基准:覆盖分类、检测、分割等任务的全球最佳成绩。
对于本文的 L 档骨干,其对应的 ImageNet-1K 微调版 internimage_l_22kto1k_384 可达 87.7% Top-1(223M 参数、108G FLOPs),参数效率非常可观——这个量级的骨干在检测、分割等密集预测任务上往往比同规模的 ViT 更有优势。
五、三步上手:从克隆到推理 🚀
第 1 步:获取模型
git clone https://gitcode.com/OpenGVLab/internimage_l_22k_384
第 2 步(可选):安装 DCNv3 CUDA 内核
未安装时模型会自动回退到 PyTorch 实现,功能不受影响;若需更快的推理和更低的显存占用,可按 README.md 的教程编译 ops_dcnv3 目录下的 CUDA 内核(需要可用 GPU,执行 sh make.sh 即可完成)。
第 3 步:加载模型
仓库通过 auto_map(config.json)注册了自动加载入口,用 Transformers 几行代码即可用起来:
- 当 backbone 用(取多尺度特征):
AutoModel.from_pretrained(..., trust_remote_code=True),取model(pixel_values).hidden_states; - 当分类器用:
AutoModelForImageClassification.from_pretrained(..., trust_remote_code=True),取logits后argmax得到类别。
完整可运行的示例代码(含图像预处理:CLIPImageProcessor 加载 384×384 像素值)见 README.md 的 Usage with Transformers 章节。
六、仓库核心文件导航 📂
| 文件 | 说明 |
|---|---|
| config.json | 模型架构超参数:depths、groups、channels、offset_scale 等 |
| configuration_internimage.py | InternImageConfig 配置类,每个超参都有详细注释 |
| modeling_internimage.py | 主干实现:Stem、Block、DCNv3 层、两个 Transformers 模型类 |
| dcnv3.py | DCNv3 可变形卷积模块(CUDA 版 + PyTorch 版) |
| dcnv3_func.py | DCNv3 的核心采样聚合函数与 CUDA 内核封装 |
| preprocessor_config.json | 384 输入、ImageNet 归一化等预处理配置 |
| model.safetensors | 223M 预训练权重 |
| README.md | 模型卡:性能数据、家族清单、使用示例 |
七、常见问题 FAQ ❓
Q1:没有 NVIDIA GPU / 不想编译 CUDA 内核,能跑吗?
能。模型会自动回退到 DCNv3_pytorch 纯 PyTorch 实现(modeling_internimage.py),CPU 上推理完全可行,只是速度较慢。
Q2:这个模型输出 21841 个类别,我想识别 1000 类怎么办?
直接用它做下游任务的骨干(backbone 模式)最灵活;若坚持做 1K 分类,可加载微调好的 internimage_l_22kto1k_384 权重,或自行在 22K 权重基础上继续训练分类头。
Q3:hidden_states 里的四个张量是什么?
分别是 4 个 Stage 的输出特征(return_wo_downsample 截获的下采样前特征,modeling_internimage.py),空间尺寸依次为 96×96、48×48、24×24、12×12,通道数 160/320/640/1280 翻倍递增,可直接对接 FPN 类结构。
写在最后 ✨
internimage_l_22k_384 展示了 可变形卷积在大规模视觉基础模型中的巨大潜力:不依赖自注意力,仅凭 DCNv3 的动态感受野与自适应聚合,就在 17 项基准上证明了 Conv 路线的竞争力。对于需要多尺度特征的检测、分割任务开发者来说,这个 223M 的 22K 预训练骨干是当下开源生态中值得重点评估的选择。
论文引用:InternImage: Exploring Large-Scale Vision Foundation Models with Deformable Convolutions(CVPR 2023),BibTeX 信息见 README.md。