如何在自己的数据集上微调 wide_resnet50_2.tv2_in1k:迁移学习实战指南
如何在自己的数据集上微调 wide_resnet50_2.tv2_in1k:迁移学习实战指南
想在自己的数据集上微调 wide_resnet50_2.tv2_in1k 吗?本指南带你用迁移学习快速上手。wide_resnet50_2.tv2_in1k 是 timm(PyTorch Image Models)提供的 Wide-ResNet-B 图像分类预训练模型,已在 ImageNet-1k 上训练完成,Top-1 准确率 81.61%,非常适合在自有图片分类任务上快速微调出高精度模型。
一、先认识这个预训练模型
在动手前,先了解你要微调的"基座"是什么样的。wide_resnet50_2.tv2_in1k 的关键参数都写在模型配置文件 config.json 中:
| 属性 | 值 | 说明 |
|---|---|---|
| 架构 | wide_resnet50_2 |
Wide-ResNet-B,ReLU 激活 + 7×7 单层卷积 |
| 参数量 | 68.9M | 中等规模,单张消费级显卡即可微调 |
| 计算量 | 7.3 GMACs | 推理速度约 1930 img/s(224 输入) |
| 类别数 | 1000 | ImageNet-1k 标签,微调时换成你的类别数 |
| 训练尺寸 | 176×176 | 原模型训练时的输入分辨率 |
| 特征维度 | 2048 | 可用于提取图像 Embedding |
| 许可证 | bsd-3-clause | 可放心用于商业项目 |
💡 模型结构细节(ReLU 激活、1×1 卷积下采样 shortcut 等)可在 README.md 的 Model Details 一节查阅。
二、安装环境与获取模型权重
只需要两个核心依赖:
pip install timm torch torchvision
获取模型权重有两种方式:
方式 1:从 Hub 直接拉取(推荐)
安装 huggingface_hub 后,timm 会自动下载 wide_resnet50_2.tv2_in1k 对应的权重,无需任何手动操作。
方式 2:本地已有模型文件
如果模型已经下载到本地(包含 config.json 和权重文件的目录,可通过 git clone 获取:
git clone https://gitcode.com/hf_mirrors/timm/wide_resnet50_2.tv2_in1k
之后加载时指定 pretrained_cfg 为本地目录即可:
import timm
model = timm.create_model(
'wide_resnet50_2.tv2_in1k',
pretrained_cfg='./wide_resnet50_2.tv2_in1k', # 指向本地模型目录
num_classes=10, # 替换为你的类别数
)
三、按目录结构组织数据集
迁移学习对数据集的组织要求很简单——ImageFolder 结构:每个子文件夹代表一个类别,文件夹里放该类别的图片:
my_dataset/
├── 猫/
│ ├── cat_001.jpg
│ └── cat_002.png
├── 狗/
│ └── dog_001.jpg
└── 鸟/
└── bird_001.jpg
加载时只需一行:
from torchvision import datasets
train_ds = datasets.ImageFolder('./my_dataset/train') # 类别名自动从文件夹名生成
同时,用 timm 生成与原模型一致的预处理变换(缩放、中心裁剪、归一化一步到位):
import timm
data_config = timm.data.resolve_model_data_config(model)
train_transform = timm.data.create_transform(**data_config, is_training=True)
四、3 种微调策略,按数据量对号入座
| 数据量 | 推荐策略 | 特点 |
|---|---|---|
| 每类 < 100 张 | 🥇 冻结骨干,只训练分类头 | 最快、最不容易过拟合 |
| 每类 100~5000 张 | 🥈 全参数微调 + 小学习率 | 精度上限更高 |
| 只需要"图像指纹" | 🥉 特征提取,不训练网络 | 训练下游轻量分类器(SVM/KNN) |
策略 1:冻结骨干,只训练分类头(数据少首选)
把 fc 分类层设为可学习,其余参数全部冻结:
for p in model.parameters():
p.requires_grad = False
for p in model.fc.parameters(): # 只有新分类头参与训练
p.requires_grad = True
通常 5~10 个 epoch 就能收敛,是防止小数据集过拟合的"保命"策略。
策略 2:全参数微调(数据量充足时)
数据足够时,解冻全部参数,用更小的学习率让预训练知识平滑迁移到新任务:
optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=4e-5)
⚡ 进阶玩法:骨干用 1e-4、分类头用 1e-3 的"分组学习率"(Discriminative LRs),精度往往比统一学习率再高一点。
策略 3:特征提取(不训练网络本身)
如果只想拿"图像指纹",直接去掉分类头提取 Embedding:
model = timm.create_model('wide_resnet50_2.tv2_in1k', pretrained=True, num_classes=0)
features = model(transforms(img).unsqueeze(0)) # 输出 (batch, 2048) 维向量
随后用 2048 维向量训练一个 SVM 或 KNN 即可,适合快速验证任务可行性。
五、关键超参数速查表
微调成败一半在超参。以下是针对 wide_resnet50_2.tv2_in1k 的推荐起点:
| 超参数 | 推荐值 | 备注 |
|---|---|---|
| 学习率 | 1e-3(冻结头)/ 1e-4~2e-4(全微调) | 太大容易"忘记"ImageNet 知识 |
| 权重衰减 | 4e-5 | 配合 AdamW 使用 |
| Batch Size | 32~64 | 显存紧张时降到 16 |
| Epochs | 10~30 | 配合余弦退火调度器 |
| 输入尺寸 | 176×176 或 224×224 | 与原训练/测试分辨率一致 |
| 数据增强 | 随机翻转 + 随机裁剪(由 create_transform(is_training=True) 自动开启) |
小数据集强烈建议保留 |
六、常见问题排查
Q1:微调后准确率不如直接推理? 先检查学习率是否过大(全微调建议从 1e-4 起步),再确认数据增强已开启、训练/验证集没有泄漏。
Q2:类别数与预训练的 1000 类冲突?
不用担心。timm.create_model(..., num_classes=N) 会自动重建分类头,ImageNet 的 1000 类权重只影响骨干网络,分类头本身就是重新初始化的。
Q3:GPU 显存不够?
68.9M 参数 + 176×176 输入,显存占用并不高。若仍吃紧,可用 torch.cuda.amp 混合精度训练,或把 batch size 降到 8~16。
七、保存微调后的模型
训练完成后,timm 提供了一键导出,生成带 *.tar 后缀的本地检查点:
model.save('ft_wide_resnet50_2_tv2_in1k_10cls.tar')
之后任何环境都可以直接用模型名 + 本地检查点加载,无缝衔接部署。
八、总结:3 步完成微调
- 准备:按 ImageFolder 结构组织图片,
pip install timm就绪环境 - 微调:数据少 → 冻结骨干只训练分类头;数据多 → 小学习率全参数微调
- 导出:
model.save()保存检查点,部署上线
借助 ImageNet 预训练的知识,wide_resnet50_2.tv2_in1k 在几千张图片的小数据集上也能达到接近从头训练(需要数十万张)才能达到的精度——这就是迁移学习的价值所在。动手试试吧!🚀