SwinV2 与 ViT、Swin V1 横向对比:图像分类精度与推理速度完全指南
SwinV2 与 ViT、Swin V1 横向对比:图像分类精度与推理速度完全指南
swinv2_large_window12to24_192to384.ms_in22k_ft_in1k 是 timm 官方提供的 Swin Transformer V2(SwinV2)图像分类预训练模型:约 1.97 亿参数、输入分辨率 384×384,在 ImageNet-22k 上预训练、ImageNet-1k 上微调,ImageNet-1k Top-1 精度约 91.3%。本文面向新手,从「精度」和「推理速度」两个维度,把它与 ViT、Swin V1 及其他 SwinV2 变体做横向对比,并给出可直接落地的选型建议。
先看懂模型名:SwinV2 是什么
模型名本身就是一份说明书:
| 名称片段 | 含义 |
|---|---|
swinv2_large |
Swin Transformer V2 的 Large 规格 |
window12to24 |
窗口注意力大小从 12 随分辨率放大到 24 |
192to384 |
预训练用 192 分辨率,微调用 384 分辨率 |
ms_in22k_ft_in1k |
微软官方权重(ms),ImageNet-22k 预训练 + ImageNet-1k 微调 |
相比第一代 Swin(V1),SwinV2 做了三个关键改进:
- 更大的相对位置索引 + 移位窗口:以更少的计算获得更强的全局信息聚合能力;
- 改进的相对位置偏置:参数更省、计算量更低;
- 高分辨率预训练策略:窗口尺寸与 patch 分辨率同步放大,天然适合高分辨率输入。
这些改进让它在同精度下计算量显著低于 V1——这是理解后文「速度对比」的钥匙。
模型参数速览 📋
以下核心指标来自 README.md 与 config.json:
| 指标 | 数值 | 说明 |
|---|---|---|
| 参数量 | 196.7M | 与 Swin V1-L 基本持平 |
| 计算量 | 116.1 GMACs | 单张 384×384 图像的前向计算 |
| 激活内存 | 407.8M | 决定推理显存的主要因子 |
| 输入尺寸 | 384×384(固定) | fixed_input_size: true |
| 输出特征维度 | 1536 | 可用于提取特征/嵌入 |
| 分类数 | 1000 | ImageNet-1k 类别 |
| 授权 | MIT | 可自由商用 |
预处理配置也很清晰:384×384 中心裁剪(crop_pct: 1.0)、bicubic 插值缩放、标准 ImageNet 归一化(mean: <a href="https://link.gitcode.com/i/42d68bd905eb393e06accbe0544a4fcf" target="_blank">0.485, 0.456, 0.406]),全部定义在 [config.json 中。
精度横向对比 📊:SwinV2 Large vs ViT vs Swin V1
下面用大家最关心的 ImageNet-1k Top-1 精度做横向对比(同规格、同预训练策略的 ms 权重,数值为近似值,以 timm 官方结果为准):
| 模型 | 输入分辨率 | 参数量 | 计算量 | Top-1 精度 |
|---|---|---|---|---|
| swinv2_large_window12to24_192to384(本项目) | 384×384 | 196.7M | 116.1 GMACs | ≈91.3% |
| swin_large_patch4_window7_224(Swin V1-L) | 224×224 | 197.0M | 58.3 GMACs | ≈87.8% |
| vit_large_patch16_224(ViT-L/16) | 224×224 | ≈307.0M | ≈59.1 GMACs | ≈83.4% |
| swinv2_base_window12to24_192to384(SwinV2-B) | 384×384 | 87.8M | ≈102.8 GMACs | ≈86.8% |
三点结论,一句话版:
- 对 ViT-L/16:参数少约 1/3,精度却高出约 5 个百分点——分层结构 + 窗口注意力在小图上更划算;
- 对 Swin V1-L:参数几乎相同,仅靠 V2 结构 + 384 分辨率就拿到约 3.5 个百分点的提升;
- 对自家 Base:用约 2.2 倍参数和计算量换来约 4.5 个百分点精度,Large 是「精度优先」档位。
推理速度横向对比 ⚡:计算花在哪里
速度差异的本质是计算量,看这组对比:
| 对比项 | 计算量(GMACs) | 相对开销 |
|---|---|---|
| Swin V1-L @ 224 | 58.3 | 1× |
| ViT-L/16 @ 224 | ≈59.1 | 1× |
| SwinV2-L @ 384(本项目) | 116.1 | ≈2× |
关键在分辨率:384 相对 224,像素面积放大约 2.9 倍,Token 数量也随之接近翻三倍——这是精度大涨的代价,也是推理变慢的主因。
想在本项目模型上提速,实用技巧按性价比排序:
- 批量推理:GPU 利用率上去了,单张平均耗时大幅下降;
- torch.compile / ONNX / TensorRT 导出:同硬件下通常有可观的常数倍加速;
- FP16 半精度推理:精度几乎无损,速度翻倍级收益;
- 降低输入分辨率需谨慎:
fixed_input_size为 true,模型就是按 384 设计的,随意缩小精度会掉得比较明显,建议改用下面的小变体代替。
与其他 SwinV2 变体的对比 🧬
同系列还有几个「近亲」,按需认识:
| 变体 | 定位 | 适合场景 |
|---|---|---|
| swinv2_large(本项目) | 精度天花板 | 离线评测、高价值图像分类 |
| swinv2_base_window12to24_192to384 | 精度/速度均衡 | 服务端实时分类 |
| swinv2_small_window12to24_192to384 | 轻量(≈27.6M 参数) | 边缘设备、低显存环境 |
| swinv2_ns 系列 | 无移位窗口版本 | 计算更规则的部署场景 |
| swinv2_cr 系列 | 新架构变体,输出 NCHW 特征图 | 检测/分割骨干网络 |
其中 swinv2_cr 的特征图输出形状在 README.md 的示例注释中有直观展示,作为下游任务骨干时值得优先关注。
如何选型 ✅:一张表选对模型
| 你的需求 | 推荐 |
|---|---|
| 追求极致精度(评测、关键业务) | 本项目 swinv2_large @ 384 |
| 服务端实时分类,要平衡 | swinv2_base @ 384 |
| 边缘设备 / 显存紧张 | swinv2_small @ 384 |
| 拿特征做检测、分割 | SwinV2 系 + features_only=True,或 swinv2_cr |
| 图像检索 / 相似度匹配 | 本项目模型 + num_classes=0 提取嵌入 |
快速上手:3 步跑起来 🚀
安装 timm 后,加载与推理只需几行(完整示例见 README.md):
import timm
import torch
model = timm.create_model('swinv2_large_window12to24_192to384.ms_in22k_ft_in1k', pretrained=True)
model.eval()
- 预处理自动搞定:
timm.data.resolve_model_data_config(model)会返回 384×384 中心裁剪与 ImageNet 归一化参数,无需手调; - 三种用法:分类(默认)、特征图提取(
features_only=True)、图像嵌入(num_classes=0),分别对应 README.md 的三个小节; - 权重文件:本仓库同时提供 model.safetensors(推荐,加载快、内存占用低)和 pytorch_model.bin(传统 PyTorch 格式)两份权重。
新手常见问题 ❓
Q1:为什么它比 Swin V1-L 慢近一倍? 主要慢在 384 分辨率(Token 数量接近 3 倍)。换来的是约 3.5 个百分点的精度提升,离线场景值得,实时边缘场景建议换 Base/Small 变体。
Q2:能改成 224 输入吗?
fixed_input_size 为 true、crop_pct 为 1.0,模型按 384×384 中心裁剪设计,换分辨率需要自行处理缩放(bicubic)并验证精度,不如直接选小一号的变体。
Q3:safetensors 和 bin 选哪个?
优先 model.safetensors,加载更安全更快;pretrained=True 时 timm 会自动下载合适格式,通常无需手动挑选。
Q4:CPU 能跑吗? 可以,但 1.97 亿参数 + 116.1 GMACs 在 CPU 上单张推理以秒计,实时应用建议上 GPU 或改用轻量变体。
参考资料 📁
- README.md:模型卡、指标与三种用法示例
- config.json:架构、预处理与权重加载配置
- model.safetensors / pytorch_model.bin:模型权重
- 原始论文:Swin Transformer V2: Scaling Up Capacity and Resolution(CVPR 2022),引用格式见 README.md