使用迁移学习实现牛津宠物品种分类:AI-For-Beginners 第 08 课实验室实战
使用迁移学习实现牛津宠物品种分类:AI-For-Beginners 第 08 课实验室实战
本文是 AI-For-Beginners 课程「预训练网络与迁移学习」单元(lessons/4-ComputerVision/08-TransferLearning)配套实验室的完整技术指南。该实验室面向「宠物托儿所」这类真实应用场景:给定一张宠物照片,自动识别其品种。你将学会如何下载并组织 Oxford-IIIT 宠物数据集,如何先用普通 CNN 训练出基线模型,再借助 PyTorch / TensorFlow 中的预训练 VGG 网络以迁移学习方式大幅提升分类准确率,并了解预训练模型适用的边界条件。
实验室任务:从照片自动识别宠物品种
假设你需要为一所宠物托儿所开发一款应用,用于为所有动物建档。其中一个极具吸引力的功能是:从一张照片中自动识别宠物的品种。本实验室作业的任务正是使用迁移学习(Transfer Learning)对 Oxford-IIIT 宠物数据集中的真实宠物照片进行分类。
该任务的意义在于贴近真实场景:与 MNIST 手写数字或合成的 Toy 数据集不同,Oxford-IIIT 数据集包含的是真实拍摄的宠物照片,存在光照、姿态、遮挡、背景等各类变化,这正是把课堂上学到的卷积网络知识推向实际应用的关键一步。
数据集:Oxford-IIIT Pets
本实验室使用原始 Oxford-IIIT 宠物数据集)中的示例使用的是另一份猫狗二分类数据集,而本实验室升级到更困难的多类别(35 类)品种识别任务。
下载与解压
在 Notebook 的第一个代码单元中,直接使用以下命令下载并解压数据(! 前缀表示在 Jupyter 中以 shell 命令方式执行):
!wget https://www.robots.ox.ac.uk/~vgg/data/pets/data/images.tar.gz
!tar xfz images.tar.gz
!rm images.tar.gz
三步的含义分别是:下载压缩包 → 解压出 images/ 目录 → 删除压缩包释放磁盘空间。下载需要网络连接,且数据集文件较大,首次执行可能需要等待一段时间。
可视化与目录整理
Notebook 首先定义了一个通用的图片展示函数 display_images,用于把一组图片并排显示:
import matplotlib.pyplot as plt
import os
from PIL import Image
import numpy as np
def display_images(l,titles=None,fontsize=12):
n=len(l)
fig,ax = plt.subplots(1,n)
for i,im in enumerate(l):
ax[i].imshow(im)
ax[i].axis('off')
if titles is not None:
ax[i].set_title(titles[i],fontsize=fontsize)
fig.set_size_inches(fig.get_size_inches()*n)
plt.tight_layout()
plt.show()
解压后的所有图片都位于同一目录 images/,文件名中包含品种(类别)名,例如 Abyssinian_100.jpg。先取前 5 张查看文件名与对应图片:
fnames = os.listdir('images')[:5]
display_images([Image.open(os.path.join('images',x)) for x in fnames],titles=fnames,fontsize=30)
为了让后续分类时能够像课程前半部分那样按目录加载数据,需要把所有图片按品种归档到各自子目录。品种名通过截取文件名中最后一个 _ 之前的部分得到:
for fn in os.listdir('images'):
cls = fn[:fn.rfind('_')].lower()
os.makedirs(os.path.join('images',cls),exist_ok=True)
os.replace(os.path.join('images',fn),os.path.join('images',cls,fn))
整理完成后统计类别数(Notebook 中运行结果是 37,比文档描述的 35 个品种多,原因是部分品种同时存在不同命名变体,实际以数据集解压后为准):
num_classes = len(os.listdir('images'))
num_classes
为深度学习准备数据集
开始训练前,需要把图像转换为张量,并为每张图生成对应的标签张量。主流框架都提供了现成工具,Notebook 中明确给出的两条路径是:
- TensorFlow:使用
tf.keras.preprocessing.image_dataset_from_directory - PyTorch:使用
torchvision.datasets.ImageFolder
由于这些宠物照片都接近正方形,需要将所有图片缩放到统一的正方形尺寸(如 224×224),同时把样本组织成 mini-batch 以加速训练。Notebook 接下来以注释占位符的形式给出了四步标准流程,供你自行补全实现:
# PREPARE THE DATASET
# SPLIT INTO TRAIN-TEST DATASETS
# DEFINE DATA LOADERS if needed
# [OPTIONAL] Plot the dataset
课程配套的 PyTorch 笔记本(TransferLearningPyTorch.ipynb)给出了这套流程的具体参考实现:用 ImageFolder 加载 data/PetImages,通过 random_split 划分出 20000 张训练样本,再用 DataLoader(batch_size=...) 组织批次;TensorFlow 版本(TransferLearningTF.ipynb)则用 validation_split=0.2、seed=13、image_size=(224,224) 同时构造训练集与验证集两个 Dataset 对象。
定义基准 CNN:先构建一个自己的网络
在引入迁移学习之前,Notebook 要求你先自己定义一个卷积神经网络作为基线,要点如下:
- 遵循金字塔式架构:随着网络加深,滤波器(卷积核)数量应逐渐增加;
- 层与层之间不要忘记激活函数(ReLU)与最大池化(Max Pooling);
- 最终分类器可以带或不带隐藏层,但输出神经元个数必须等于类别数(这里是 37 或 35)。
最后输出层激活函数与损失函数的搭配至关重要,两个框架的约定不同:
- TensorFlow:使用
softmax作为激活函数,配合sparse_categorical_crossentropy损失。稀疏版本与普通categorical_crossentropy的区别在于:前者直接接收类别编号标签,而不是 one-hot 向量; - PyTorch:最后一层可以不带激活函数,直接使用
CrossEntropyLoss,该损失函数内部会自动施加 softmax。
实用提示:在 PyTorch 中可以用
LazyLinear替代Linear层,从而免去手动计算输入维度的工作。它只需一个n_out参数(该层神经元数量),输入数据的维度会在第一次forward时自动推断。
训练阶段需要在每个 epoch 同时记录训练集与测试集上的准确率,并绘制曲线以观察是否出现过拟合:
# TRAIN THE NEURAL NETWORK
# PLOT THE RESULT: Train and Test Accuracy
正如 Notebook 中的提示:「即使你每一步都做对了,你很可能也会发现准确率相当低」。在只有几万张样本、类别多达 35 类且包含真实场景噪声的前提下,从头训练的浅层 CNN 往往难以达到实用水平——这正是引出迁移学习的动机。
迁移学习:用 VGG-16 预训练网络大幅提升准确率
为什么迁移学习有效
从零训练 CNN 既耗时又需要海量数据,但网络的大量训练时间其实花在学习低层滤波器上——这些滤波器负责从图像中提取通用模式(水平/垂直线条、笔画等),与具体任务无关。因此一个很自然的想法是:把在一个大数据集(如 ImageNet)上训练好的网络拿来,在其提取的特征之上构建自己的分类器。这正是迁移学习——把一个模型的知识迁移到另一个模型。详见课程主文档 lessons/4-ComputerVision/08-TransferLearning/README.md。
课程推荐了几类常用预训练网络:
- VGG-16 / VGG-19:结构相对简单但仍能保持不错的准确率,适合作为迁移学习的初次尝试;
- ResNet:微软研究院 2015 年提出的模型族,层数更多、资源消耗更大;
- MobileNet:为移动设备设计的轻量模型,适合资源受限且可以牺牲少量精度的场景。
下图展示了 VGG-16 网络从一张猫图片中提取出的特征可视化结果(来自本课程单元图片素材 features.png):
用预训练网络替换分类头
本实验室在 Notebook 中要求你完成以下迁移学习改造步骤:
- 按迁移学习标准重新加载数据集——预训练 VGG 对输入有特定的归一化要求(ImageNet 的 mean/std),因此需要用不同的 transforms 重新加载数据:
# LOAD THE DATASET
# Perform standard transformations for VGG-16/VGG-19 if needed
参考实现(TransferLearningPyTorch.ipynb)中的归一化写法是:
std_normalize = transforms.Normalize(mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225])
trans = transforms.Compose([
transforms.Resize(256),
transforms.CenterCrop(224),
transforms.ToTensor(),
std_normalize])
- 加载预训练网络:
# vgg = ...
PyTorch 中即 vgg = torchvision.models.vgg16(pretrained=True)(在 TensorFlow 中为 keras.applications.VGG16(include_top=False))。
-
构建你自己的分类模型,两个框架的接线方式不同:
- PyTorch:VGG 内部有一个名为
classifier的槽位,你可以把它整体替换为你自己、输出维度等于本任务类别数的分类器; - TensorFlow:把 VGG 当作特征提取器,用
Sequential将 VGG 作为第一层、再在其上叠加你自己的分类层。
- PyTorch:VGG 内部有一个名为
-
冻结 VGG 特征提取器的全部参数,使其在训练中不被更新:
# MAKE VGG Layers not trainable
PyTorch 参考实现:
vgg.classifier = torch.nn.Linear(25088,2).to(device)
for x in vgg.features.parameters():
x.requires_grad = False
TensorFlow 参考实现:
model = keras.models.Sequential()
model.add(keras.applications.VGG16(include_top=False,input_shape=(224,224,3)))
model.add(keras.layers.Flatten())
model.add(keras.layers.Dense(1,activation='sigmoid'))
model.layers[0].trainable = False
关于「为什么只训练分类层」:VGG-16 全模型约有 1500 万参数,但冻结特征提取器后可训练参数仅剩约 5 万(来自课程笔记本 TransferLearningPyTorch.ipynb 的 summary 输出)。用小样本量微调少量参数,正是迁移学习在数据有限时依然有效的根本原因。
训练与 Top-3 准确率
由于冻结了主干、只训练分类层,模型收敛快得多,但整体训练依然比前面从头训练更慢。Notebook 建议:
由于这种训练更慢,你可以先只训练少量 epoch(例如 3 个)。如需进一步提高精度,随时可以继续训练。
并且提醒:整个训练过程耗时较长,训练函数在 epoch 结束前不会打印任何输出,需要耐心等待。
训练完成后,还可以像之前的练习一样计算 Top-3 准确率(即模型预测概率前三的类别中只要包含正确品种即算对):
# CALCULATE TOP-3 Accuracy of the model
Notebook 的结论是迁移学习后的效果「明显好多了」。
更进一步的两种玩法(课程配套笔记本)
完成实验室后,可以在配套笔记本中继续深化:
- 特征提前抽取:先用
vgg.features把整批图片提前转换为 512×7×7 的特征张量,再在特征上只训练一个简单的全连接分类器(课程笔记本中仅用 800 张样本、一层Linear(512*7*7,2)+LogSoftmax就达到了约 98% 的猫狗分类准确率); - 全面微调(Fine-tuning):当你的图像与 ImageNet 图像差异较大时,可以解冻之前冻结的卷积层,用很小的学习率(如
lr=0.0001)继续训练整个网络;TensorFlow 版还可以只解冻最后几层(如for i in range(len(model.layers[0].layers)-4)冻结除最后 4 层外的所有层)。
训练中涉及的 Batch Normalization、Dropout、优化器选择、学习率衰减与防止过拟合等技巧,详见 TrainingTricks.md;关于卷积网络架构选型可参考 CNN 架构页。课程还提供了对抗性猫的生成实验 AdversarialCat_TF.ipynb 帮助理解预训练网络内部表示。
本实验室的核心结论与适用边界
迁移学习与预训练网络让我们能够相对容易地解决真实世界的图像分类问题——这正是本实验室通过 Oxford 宠物品种分类展示的核心价值:即使类别多达 35 种、图像来自真实拍摄场景,基于 ImageNet 预训练特征的分类器也能达到远优于从头训练的效果。
但同时必须清醒认识到其适用边界:
- 预训练网络在与训练数据同类型的图像上表现良好(例如自然拍摄的动物照片);
- 一旦开始分类差异非常大的图像(例如医学影像、卫星图、显微图),特征分布发生根本性偏移,结果很可能大幅变差。
因此,判断一个迁移学习方案是否可行,先要评估目标图像与预训练数据(如 ImageNet 自然图像)之间的「距离」。若差异过大,则需要收集更多目标域数据、做全面微调,甚至从头训练。
动手开始
打开实验室 Notebook OxfordPets.ipynb,按单元依次执行:下载数据集 → 可视化与目录整理 → 数据张量化 → 构建基准 CNN → 训练并绘图 → 迁移学习改造 → 训练 → 计算 Top-3 准确率。运行环境需要 Python + Jupyter,并安装 torch / torchvision 或 tensorflow(可参考仓库根目录 requirements.txt 与 environment.yml),GPU 环境能显著缩短训练等待时间。
