如何快速上手inception_resnet_v2.tf_ens_adv_in1k:5分钟完成第一张图像分类推理
如何快速上手inception_resnet_v2.tf_ens_adv_in1k:5分钟完成第一张图像分类推理
inception_resnet_v2.tf_ens_adv_in1k 是一个基于 Inception-ResNet-v2 架构的高精度图像分类模型,由论文作者以对抗样本集成训练方式在 ImageNet-1k 数据集上训练得到。它支持 1000 类自然图像分类,参数规模约 55.8M,通过 timm 库几行代码即可完成首次推理。本文带你快速上手图像分类模型,5 分钟跑通第一张图像的 Top5 分类结果。
🤔 这个模型是做什么的?
简单来说,你给它一张图片,它就能告诉你这张图片最可能是 1000 种 ImageNet 类别中的哪几种,并给出对应的概率。
它和常见的 Inception-v3 不同之处在于三点:
- 对抗鲁棒:训练时混入了对抗样本(adversarial training),对人为扰动的图像更有抵抗力;
- 集成训练(
ens):使用模型集成策略提升精度; - 迁移自 TensorFlow:原始实现为 TensorFlow,由 Ross Wightman 移植为 PyTorch 版本。
其中 tf_ens_adv_in1k 这个后缀正是含义的缩写:TF 原版权重、集成(ensemble)训练、对抗(adversarial)训练、ImageNet-1k 数据集。
📊 模型关键指标一览
| 指标 | 数值 |
|---|---|
| 模型类型 | 图像分类 / 特征骨干网络 |
| 参数量 | 55.8M |
| GMACs(计算量) | 13.2 |
| 激活值 | 25.1M |
| 输入尺寸 | 299 × 299 |
| 分类类别数 | 1000 类(ImageNet-1k) |
这些参数都可以在仓库的 config.json 中查到,例如 num_classes: 1000、input_size: [3, 299, 299]、num_features: 1536。
📁 仓库文件构成
本仓库是一个标准的 Hugging Face 模型仓库,文件结构非常简单,共 4 个文件:
| 文件 | 作用 |
|---|---|
| README.md | 模型卡片:模型介绍、使用示例、论文引用 |
| config.json | 模型配置:网络架构、输入尺寸、归一化均值/方差、分类头位置 |
| model.safetensors | 模型权重(safetensors 格式,加载更安全高效) |
| pytorch_model.bin | 模型权重(传统 PyTorch bin 格式) |
💡 小贴士:如果你的程序支持 safetensors 格式,优先加载
model.safetensors,它比 bin 格式更安全且加载速度更快。
🚀 5分钟快速上手:完成第一次图像分类推理
第一步:确认环境与加载模型
在已安装 timm 和 torch 的 Python 环境中,只需要一行代码即可创建模型并自动下载预训练权重:
import timm
model = timm.create_model('inception_resnet_v2.tf_ens_adv_in1k', pretrained=True)
model.eval()
pretrained=True 会自动从模型仓库拉取本仓库中的权重文件,无需手动 clone。
第二步:准备图片并自动处理
模型对输入图片有固定的预处理要求(缩放到 299×299、中心裁剪、归一化到 0~1),timm 提供了自动化工具,你不需要自己写归一化公式:
from PIL import Image
import torch
img = Image.open('cat.jpg')
# 自动获取该模型的预处理配置(尺寸、裁剪比例、mean/std)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
这些预处理参数(mean: [0.5, 0.5, 0.5]、std: [0.5, 0.5, 0.5]、crop_pct: 0.8975 等)都定义在 config.json 的 pretrained_cfg 字段中。
第三步:推理并查看 Top5 结果
output = model(transforms(img).unsqueeze(0)) # 单张图扩展为 batch
top5_probs, top5_idx = torch.topk(output.softmax(dim=1) * 100, k=5)
print(top5_probs, top5_idx)
运行后你会得到类似这样的输出:前 5 个 ImageNet 类别的概率(百分比)和类别编号,例如 [18.2, 9.5, 6.1, ...] 对应 cat / tiger cat / tabby / ...。恭喜,你已经完成了第一张图像分类推理!🎉
🔍 进阶用法:特征提取与图像嵌入
除了分类,这个模型还是优秀的特征提取骨干。README.md 中给出了另外两种用法:
- 特征图提取:创建模型时加
features_only=True,可以拿到网络各阶段的 5 组特征图,形状从[1, 64, 147, 147]一路缩小到[1, 1536, 8, 8],适合可视化或下游检测任务; - 图像嵌入:设置
num_classes=0去掉分类头,或调用model.forward_features(...)得到 1536 维的向量,可用于图像相似度检索。
❓ 常见问题(FAQ)
Q1:输入图片尺寸必须 299×299 吗? 不必手动保证。预处理变换会自动完成缩放与中心裁剪,你直接传入原图即可。
Q2:为什么推理慢?
299×299 的输入加上 55.8M 参数,比常见的 ResNet50 更"重"。CPU 上单张推理约需数秒,建议有 GPU 时使用 model.to('cuda')。
Q3:想改分类数怎么办?
config.json 中的 num_classes: 1000 对应 ImageNet 1000 类。若加载时指定 num_classes=0 可去掉分类头,只保留 1536 维特征输出。
✅ 总结
- inception_resnet_v2.tf_ens_adv_in1k 是一个对抗鲁棒的图像分类模型,适合对鲁棒性有要求的场景;
- 通过
timm.create_model一行代码加载,配合自动预处理即可完成推理; - 除分类外,还能提取多尺度特征图和 1536 维图像嵌入。
完整示例代码与论文引用(Inception-v4 论文、AAW 2017 对抗攻防竞赛论文)均可在 README.md 中查阅,建议作为模型卡片常备参考。