如何快速上手inception_resnet_v2.tf_ens_adv_in1k:5分钟完成第一张图像分类推理

原创2026-10-19 22:14:401,604 阅读

如何快速上手inception_resnet_v2.tf_ens_adv_in1k:5分钟完成第一张图像分类推理

inception_resnet_v2.tf_ens_adv_in1k 是一个基于 Inception-ResNet-v2 架构的高精度图像分类模型,由论文作者以对抗样本集成训练方式在 ImageNet-1k 数据集上训练得到。它支持 1000 类自然图像分类,参数规模约 55.8M,通过 timm 库几行代码即可完成首次推理。本文带你快速上手图像分类模型,5 分钟跑通第一张图像的 Top5 分类结果。

🤔 这个模型是做什么的?

简单来说,你给它一张图片,它就能告诉你这张图片最可能是 1000 种 ImageNet 类别中的哪几种,并给出对应的概率。

它和常见的 Inception-v3 不同之处在于三点:

  • 对抗鲁棒:训练时混入了对抗样本(adversarial training),对人为扰动的图像更有抵抗力;
  • 集成训练(ens):使用模型集成策略提升精度;
  • 迁移自 TensorFlow:原始实现为 TensorFlow,由 Ross Wightman 移植为 PyTorch 版本。

其中 tf_ens_adv_in1k 这个后缀正是含义的缩写:TF 原版权重、集成(ensemble)训练、对抗(adversarial)训练、ImageNet-1k 数据集。

📊 模型关键指标一览

指标 数值
模型类型 图像分类 / 特征骨干网络
参数量 55.8M
GMACs(计算量) 13.2
激活值 25.1M
输入尺寸 299 × 299
分类类别数 1000 类(ImageNet-1k)

这些参数都可以在仓库的 config.json 中查到,例如 num_classes: 1000、input_size: [3, 299, 299]、num_features: 1536。

📁 仓库文件构成

本仓库是一个标准的 Hugging Face 模型仓库,文件结构非常简单,共 4 个文件:

文件 作用
README.md 模型卡片:模型介绍、使用示例、论文引用
config.json 模型配置:网络架构、输入尺寸、归一化均值/方差、分类头位置
model.safetensors 模型权重(safetensors 格式,加载更安全高效)
pytorch_model.bin 模型权重(传统 PyTorch bin 格式)

💡 小贴士:如果你的程序支持 safetensors 格式,优先加载 model.safetensors,它比 bin 格式更安全且加载速度更快。

🚀 5分钟快速上手:完成第一次图像分类推理

第一步:确认环境与加载模型

在已安装 timm 和 torch 的 Python 环境中,只需要一行代码即可创建模型并自动下载预训练权重:

import timm
model = timm.create_model('inception_resnet_v2.tf_ens_adv_in1k', pretrained=True)
model.eval()

pretrained=True 会自动从模型仓库拉取本仓库中的权重文件,无需手动 clone。

第二步:准备图片并自动处理

模型对输入图片有固定的预处理要求(缩放到 299×299、中心裁剪、归一化到 0~1),timm 提供了自动化工具,你不需要自己写归一化公式:

from PIL import Image
import torch

img = Image.open('cat.jpg')

# 自动获取该模型的预处理配置(尺寸、裁剪比例、mean/std)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

这些预处理参数(mean: [0.5, 0.5, 0.5]、std: [0.5, 0.5, 0.5]、crop_pct: 0.8975 等)都定义在 config.json 的 pretrained_cfg 字段中。

第三步:推理并查看 Top5 结果

output = model(transforms(img).unsqueeze(0))  # 单张图扩展为 batch

top5_probs, top5_idx = torch.topk(output.softmax(dim=1) * 100, k=5)
print(top5_probs, top5_idx)

运行后你会得到类似这样的输出:前 5 个 ImageNet 类别的概率(百分比)和类别编号,例如 [18.2, 9.5, 6.1, ...] 对应 cat / tiger cat / tabby / ...。恭喜,你已经完成了第一张图像分类推理!🎉

🔍 进阶用法:特征提取与图像嵌入

除了分类,这个模型还是优秀的特征提取骨干。README.md 中给出了另外两种用法:

  • 特征图提取:创建模型时加 features_only=True,可以拿到网络各阶段的 5 组特征图,形状从 [1, 64, 147, 147] 一路缩小到 [1, 1536, 8, 8],适合可视化或下游检测任务;
  • 图像嵌入:设置 num_classes=0 去掉分类头,或调用 model.forward_features(...) 得到 1536 维的向量,可用于图像相似度检索。

❓ 常见问题(FAQ)

Q1:输入图片尺寸必须 299×299 吗? 不必手动保证。预处理变换会自动完成缩放与中心裁剪,你直接传入原图即可。

Q2:为什么推理慢? 299×299 的输入加上 55.8M 参数,比常见的 ResNet50 更"重"。CPU 上单张推理约需数秒,建议有 GPU 时使用 model.to('cuda')。

Q3:想改分类数怎么办? config.json 中的 num_classes: 1000 对应 ImageNet 1000 类。若加载时指定 num_classes=0 可去掉分类头,只保留 1536 维特征输出。

✅ 总结

  • inception_resnet_v2.tf_ens_adv_in1k 是一个对抗鲁棒的图像分类模型,适合对鲁棒性有要求的场景;
  • 通过 timm.create_model 一行代码加载,配合自动预处理即可完成推理;
  • 除分类外,还能提取多尺度特征图和 1536 维图像嵌入。

完整示例代码与论文引用(Inception-v4 论文、AAW 2017 对抗攻防竞赛论文)均可在 README.md 中查阅,建议作为模型卡片常备参考。

登录后查看全文
inception_resnet_v2.tf_ens_adv_in1k