D2L 全卷积网络(FCN)实战指南:基于预训练 ResNet-18 与转置卷积的像素级语义分割

原创2026-09-30 17:51:522,167 阅读
文章标签:深度学习机器学习人工智能教程文档

D2L 全卷积网络(FCN)实战指南:基于预训练 ResNet-18 与转置卷积的像素级语义分割

导读

本篇技术指南以《动手学深度学习》(D2L)开源仓库 chapter_computer-vision/fcn.md 为核心,系统讲解全卷积网络(Fully Convolutional Network, FCN)如何在像素级别完成语义分割:先用 CNN 提取图像特征,再用 1×11\times 1 卷积把通道数映射为类别数,最后借助转置卷积把特征图的高宽恢复为输入图像的原始尺寸。读完本文,你将掌握 FCN 的完整建模链路、从 ImageNet 预训练 ResNet-18 迁移构建分割骨干的方法、转置卷积上采样参数的几何推导、双线性插值初始化技巧,以及基于 Pascal VOC2012 数据集的训练、预测与可视化全流程。

语义分割与 FCN 的核心思想

与图像分类、目标检测不同,语义分割(semantic segmentation)要在像素级别判定图像中每个像素所属的语义类别。此前章节介绍的 CNN 会不断降低特征图的高宽,最终输出一个全局类别向量;而全卷积网络(FCN)^1] 则把这一过程反转过来——通过转置卷积层,将中间特征图的高宽恢复回输入图像的高宽(转置卷积的原理见 [chapter_computer-vision/transposed-conv.md)。

这样做的直接收益是:分类输出与输入图像在像素上形成一一对应——输出特征图中任意像素位置处的通道维度,保存的就是输入图像同一空间位置上那个像素的分类结果。以 Pascal VOC2012 为例,输出通道数为 21(20 个前景类别 + 1 个背景),每个像素位置上的 21 维向量经 softmax 后即可取 argmax 得到类别编号。

模型架构:特征提取 → 通道变换 → 尺寸恢复

FCN 的基本设计如下(架构示意见下图):

FCN 架构:CNN 提取特征 → 1×1 卷积变换通道 → 转置卷积恢复高宽

  1. CNN 特征提取:使用一个预训练 CNN(本文用 ImageNet 预训练的 ResNet-18)提取图像特征;
  2. 1×11\times 1 卷积:将特征图的通道数变换为目标类别数(21);
  3. 转置卷积:将特征图的高宽恢复到输入图像的原始尺寸。

三步合在一起,模型输出与输入图像等高宽,输出通道中保存着同一空间位置输入像素的预测类别。

构建基于 ResNet-18 的骨干网络

首先加载 ImageNet 预训练的 ResNet-18 模型,记为 pretrained_net。其尾部包含全局平均池化层和全连接层——这两者在 FCN 中不需要,会被剔除:

# PyTorch 版
pretrained_net = torchvision.models.resnet18(pretrained=True)
list(pretrained_net.children())[-3:]
# MXNet 版
pretrained_net = gluon.model_zoo.vision.resnet18_v2(pretrained=True)
pretrained_net.features[-3:], pretrained_net.output

接下来创建 FCN 实例 net:复制 ResNet-18 中除最靠近输出的全局平均池化层与全连接层之外的全部预训练层:

# PyTorch 版
net = nn.Sequential(*list(pretrained_net.children())[:-2])
# MXNet 版
net = nn.HybridSequential()
for layer in pretrained_net.features[:-2]:
    net.add(layer)

用随机输入验证特征图的降采样比例:给定高 320、宽 480 的输入,net 的前向传播会把高宽降到原来的 1/321/32,即 10×15:

# PyTorch 版
X = torch.rand(size=(1, 3, 320, 480))
net(X).shape   # torch.Size([1, 512, 10, 15])
# MXNet 版
X = np.random.uniform(size=(1, 3, 320, 480))
net(X).shape

上采样几何:为什么 stride=32、kernel=64、padding=16

接下来的两步操作是 FCN 的关键:

  1. 用 1×11\times 1 卷积把输出通道数变为 Pascal VOC2012 的类别数 21;
  2. 用转置卷积把特征图高宽放大 32 倍,恢复到输入图像的尺寸。

转置卷积的参数如何确定?回顾 chapter_computer-vision/transposed-conv.md 中的约定:在转置卷积中,padding 是作用在输出上的(会裁掉输出的边缘),而 strides 作用于中间结果。由转置卷积输出形状公式可知,输入高 nhn_h、stride ss、kernel kk、padding pp 时输出高为:

(nh−1)×s+k−2p(n_h-1)\times s + k - 2p

要放大 32 倍,即从 10×15 恢复到 320×480,代入验证 (10−1)×32+64−2×16=288+64−32=320(10-1)\times 32 + 64 - 2\times 16 = 288+64-32=320,宽同理 (15−1)×32+64−32=480(15-1)\times 32+64-32=480。因此构造 stride=32、kernel=64、padding=16 的转置卷积:

# PyTorch 版
num_classes = 21
net.add_module('final_conv', nn.Conv2d(512, num_classes, kernel_size=1))
net.add_module('transpose_conv', nn.ConvTranspose2d(num_classes, num_classes,
                                kernel_size=64, padding=16, stride=32))
# MXNet 版
num_classes = 21
net.add(nn.Conv2D(num_classes, kernel_size=1),
        nn.Conv2DTranspose(
            num_classes, kernel_size=64, padding=16, strides=32))

一般性规律:对于 stride 为 ss、padding 为 s/2s/2(假设 s/2s/2 为整数)、kernel 高宽为 2s2s 的转置卷积,输出高宽恰好放大 ss 倍。这就是为什么随机裁剪尺寸要选 32 的倍数(如 320×480):保证特征图缩放全程没有形状偏差。

初始化转置卷积:双线性插值上采样

转置卷积天然具备放大特征图的能力。在图像处理中,放大图像(upsampling)常用双线性插值(bilinear interpolation),它也是初始化转置卷积层的常用手段。

双线性插值原理

给定输入图像,计算上采样输出图像中每个像素时:

  1. 将输出坐标 (x,y)(x, y) 按输入/输出尺寸比例映射回输入图像坐标 (x′,y′)(x', y')——注意 x′x'、y′y' 是实数;
  2. 找到输入图像上离 (x′,y′)(x', y') 最近的四个像素;
  3. 根据这四个像素的取值及其与 (x′,y′)(x', y') 的相对距离加权计算输出像素值。

bilinear_kernel 实现

双线性插值上采样可由转置卷积实现,其核由下面的 bilinear_kernel 函数构造(两个框架实现完全等价,仅张量 API 不同):

# PyTorch 版
def bilinear_kernel(in_channels, out_channels, kernel_size):
    factor = (kernel_size + 1) // 2
    if kernel_size % 2 == 1:
        center = factor - 1
    else:
        center = factor - 0.5
    og = (torch.arange(kernel_size).reshape(-1, 1),
          torch.arange(kernel_size).reshape(1, -1))
    filt = (1 - torch.abs(og[0] - center) / factor) * \
           (1 - torch.abs(og[1] - center) / factor)
    weight = torch.zeros((in_channels, out_channels,
                          kernel_size, kernel_size))
    weight[range(in_channels), range(out_channels), :, :] = filt
    return weight
# MXNet 版
def bilinear_kernel(in_channels, out_channels, kernel_size):
    factor = (kernel_size + 1) // 2
    if kernel_size % 2 == 1:
        center = factor - 1
    else:
        center = factor - 0.5
    og = (np.arange(kernel_size).reshape(-1, 1),
          np.arange(kernel_size).reshape(1, -1))
    filt = (1 - np.abs(og[0] - center) / factor) * \
           (1 - np.abs(og[1] - center) / factor)
    weight = np.zeros((in_channels, out_channels, kernel_size, kernel_size))
    weight[range(in_channels), range(out_channels), :, :] = filt
    return np.array(weight)

验证:2 倍双线性上采样实验

构造一个把高宽放大 2 倍的转置卷积层(kernel=4、padding=1、stride=2),并用 bilinear_kernel(3, 3, 4) 初始化其权重:

# PyTorch 版
conv_trans = nn.ConvTranspose2d(3, 3, kernel_size=4, padding=1, stride=2,
                                bias=False)
conv_trans.weight.data.copy_(bilinear_kernel(3, 3, 4));
# MXNet 版
conv_trans = nn.Conv2DTranspose(3, kernel_size=4, padding=1, strides=2)
conv_trans.initialize(init.Constant(bilinear_kernel(3, 3, 4)))

读取仓库图片目录下的示例图像 img/catdog.jpg,喂入该转置卷积得到输出 Y,打印时需把通道维度调整回 HWC 顺序:

# PyTorch 版
img = torchvision.transforms.ToTensor()(d2l.Image.open('img/catdog.jpg'))
X = img.unsqueeze(0)
Y = conv_trans(X)
out_img = Y[0].permute(1, 2, 0).detach()
d2l.set_figsize()
d2l.plt.imshow(img.permute(1, 2, 0));
d2l.plt.imshow(out_img);
# MXNet 版
img = image.imread('img/catdog.jpg')
X = np.expand_dims(img.astype('float32').transpose(2, 0, 1), axis=0) / 255
Y = conv_trans(X)
out_img = Y[0].transpose(1, 2, 0)
d2l.plt.imshow(img.asnumpy());
d2l.plt.imshow(out_img.asnumpy());

可以观察到:转置卷积把图像高宽同时放大了 2 倍;除了坐标尺度不同,双线性插值放大后的图像与原图在视觉上完全一致。

FCN 中的初始化策略

在 FCN 中,转置卷积层用双线性插值上采样初始化,而 1×11\times 1 卷积层用 Xavier 初始化:

# PyTorch 版
W = bilinear_kernel(num_classes, num_classes, 64)
net.transpose_conv.weight.data.copy_(W);
# MXNet 版
W = bilinear_kernel(num_classes, num_classes, 64)
net[-1].initialize(init.Constant(W))
net[-2].initialize(init=init.Xavier())

以双线性核作为转置卷积的初值,相当于"从近似双线性上采样出发再微调",能显著加速收敛并稳定早期训练。

读取语义分割数据集:Pascal VOC2012

FCN 训练使用 chapter_computer-vision/semantic-segmentation-and-dataset.md 介绍的语义分割数据集。随机裁剪的输出形状指定为 320×480320\times 480——高和宽都能被 32 整除,与转置卷积的 32 倍放大严格对齐:

batch_size, crop_size = 32, (320, 480)
train_iter, test_iter = d2l.load_data_voc(batch_size, crop_size)

从仓库源码看,load_data_voc 定义在 d2l/torch.py(MXNet 版见 d2l/mxnet.py),内部完成三件事:

  1. 通过 d2l.download_extract('voc2012', 'VOCdevkit/VOC2012') 下载解压数据集;
  2. 用 VOCSegDataset 封装训练/测试集(实现见 d2l/torch.py):构造时用 ImageNet 统计的均值/标准差 [0.485, 0.456, 0.406]、[0.229, 0.224, 0.225] 做逐通道标准化,并过滤掉尺寸小于裁剪尺寸的样本;
  3. 返回两个 DataLoader:训练集 shuffle=True 且 drop_last=True,测试集同样丢弃不足一个 batch 的尾部样本。

数据读取还依赖同一文件中的 read_voc_images(d2l/torch.py,按 ImageSets/Segmentation/train.txt 或 val.txt 中的文件名列表,从 JPEGImages 读原图、从 SegmentationClass 读标签 PNG)与 voc_rand_crop(d2l/torch.py,对原图和标签做同一随机裁剪,保证像素一一对应)。

训练:逐像素损失与准确率

FCN 的训练在损失函数与准确率计算上和图像分类没有本质区别,唯一的不同在于损失要按通道维指定——转置卷积的输出通道就是每个像素的类别预测。因此损失沿通道维(axis=1)计算 softmax 交叉熵,准确率则统计所有像素中预测正确的比例:

# PyTorch 版
def loss(inputs, targets):
    return F.cross_entropy(inputs, targets, reduction='none').mean(1).mean(1)

num_epochs, lr, wd, devices = 5, 0.001, 1e-3, d2l.try_all_gpus()
trainer = torch.optim.SGD(net.parameters(), lr=lr, weight_decay=wd)
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)
# MXNet 版
num_epochs, lr, wd, devices = 5, 0.1, 1e-3, d2l.try_all_gpus()
loss = gluon.loss.SoftmaxCrossEntropyLoss(axis=1)
net.collect_params().reset_ctx(devices)
trainer = gluon.Trainer(net.collect_params(), 'sgd',
                        {'learning_rate': lr, 'wd': wd})
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)

两点说明:

  • 损失形状:PyTorch 版对每个像素位置的 21 维向量计算交叉熵后,先对空间维取两次均值,得到逐样本的标量损失;MXNet 版则直接在通道维(axis=1)上做 softmax 交叉熵。二者语义一致,都体现了"以像素为分类单元"的特性。
  • 多 GPU 训练:d2l.try_all_gpus() 自动探测可用 GPU;d2l.train_ch13(定义见 d2l/torch.py)用 nn.DataParallel 包装模型,按 batch 维度切分数据,并记录训练损失、训练准确率与测试准确率曲线。

超参数参考值:两个框架都使用 SGD + 权重衰减 wd=1e-3、训练 5 个 epoch;PyTorch 学习率 lr=0.001,MXNet 学习率 lr=0.1(MXNet 的 wd 由 Trainer 的 wd 参数直接注入优化器)。

预测与可视化

预测函数:标准化与 argmax

预测时,需要先把输入图像按通道标准化(normalize_image,即数据集构造时所用的 ImageNet 均值和标准差),再转成 CNN 要求的四维输入格式(NCHW):

# PyTorch 版
def predict(img):
    X = test_iter.dataset.normalize_image(img).unsqueeze(0)
    pred = net(X.to(devices[0])).argmax(dim=1)
    return pred.reshape(pred.shape[1], pred.shape[2])
# MXNet 版
def predict(img):
    X = test_iter._dataset.normalize_image(img)
    X = np.expand_dims(X.transpose(2, 0, 1), axis=0)
    pred = net(X.as_in_ctx(devices[0])).argmax(axis=1)
    return pred.reshape(pred.shape[1], pred.shape[2])

argmax 取每个像素位置上 21 维预测向量中的最大类别编号,得到一张与输入同尺寸的类别索引图。

类别索引 → 标签颜色

为了让分割结果可视化,需要把预测的类别编号映射回数据集中的标签颜色。Pascal VOC2012 的颜色表 VOC_COLORMAP 由 21 个 RGB 三元组组成,定义在 chapter_computer-vision/semantic-segmentation-and-dataset.md 与 d2l/torch.py(对应 21 个类别名 VOC_CLASSES,见 d2l/torch.py,如 background、aeroplane、bicycle、person、tv/monitor 等)。label2image 直接以预测索引作为颜色表的行下标完成查表:

# PyTorch 版
def label2image(pred):
    colormap = torch.tensor(d2l.VOC_COLORMAP, device=devices[0])
    X = pred.long()
    return colormap[X, :]
# MXNet 版
def label2image(pred):
    colormap = np.array(d2l.VOC_COLORMAP, ctx=devices[0], dtype='uint8')
    X = pred.astype('int32')
    return colormap[X, :]

处理尺寸不可整除的问题

测试集图像的尺寸和形状各不相同。由于模型末端的转置卷积 stride=32,当输入图像的高或宽不能被 32 整除时,输出尺寸会偏离输入尺寸。解决办法是:在图像中裁剪多个高宽为 32 整数倍的矩形区域,对每个区域分别前向传播;这些区域的并集需完全覆盖输入图像;当一个像素被多个区域覆盖时,把各区域对应位置转置卷积输出的平均值送入 softmax 预测类别。

为简化演示,这里只读取几张较大的测试图像,并从每张左上角裁剪一个 320×480320\times480 区域做预测,然后按行打印裁剪区域、预测结果和真实标签:

# PyTorch 版
voc_dir = d2l.download_extract('voc2012', 'VOCdevkit/VOC2012')
test_images, test_labels = d2l.read_voc_images(voc_dir, False)
n, imgs = 4, []
for i in range(n):
    crop_rect = (0, 0, 320, 480)
    X = torchvision.transforms.functional.crop(test_images[i], *crop_rect)
    pred = label2image(predict(X))
    imgs += [X.permute(1,2,0), pred.cpu(),
             torchvision.transforms.functional.crop(
                 test_labels[i], *crop_rect).permute(1,2,0)]
d2l.show_images(imgs[::3] + imgs[1::3] + imgs[2::3], 3, n, scale=2);
# MXNet 版
voc_dir = d2l.download_extract('voc2012', 'VOCdevkit/VOC2012')
test_images, test_labels = d2l.read_voc_images(voc_dir, False)
n, imgs = 4, []
for i in range(n):
    crop_rect = (0, 0, 480, 320)
    X = image.fixed_crop(test_images[i], *crop_rect)
    pred = label2image(predict(X))
    imgs += [X, pred, image.fixed_crop(test_labels[i], *crop_rect)]
d2l.show_images(imgs[::3] + imgs[1::3] + imgs[2::3], 3, n, scale=2);

imgs 按"原图、预测图、真值图"三张一组排列,imgs[::3]、imgs[1::3]、imgs[2::3] 将三组分别抽出并排成 3 行、每行 4 张,便于逐行对照模型的预测质量。

总结

  • FCN 三段式架构:先由 CNN 提取图像特征,再用 1×11\times 1 卷积把通道数变换为类别数,最后用转置卷积把特征图高宽恢复为输入图像尺寸,实现输出与输入的像素级一一对应。
  • 上采样初始化:在 FCN 中可用双线性插值上采样初始化转置卷积层(bilinear_kernel),1×11\times 1 卷积层则使用 Xavier 初始化。
  • 参数几何规律:stride 为 ss、padding 为 s/2s/2、kernel 为 2s2s 的转置卷积可将高宽精确放大 ss 倍,因此训练与预测的裁剪尺寸需取 32 的整数倍。
  • 逐像素评估:损失沿通道维计算,准确率统计所有像素的预测正确率。

延伸练习

  1. 若对转置卷积层改用 Xavier 初始化,实验结果会发生什么变化?请解释原因。
  2. 通过调整超参数(学习率、epoch、权重衰减、batch size),能否进一步提升模型准确率?
  3. 尝试预测测试图像中所有像素的类别(而不仅是左上角 320×480 的裁剪区域)。
  4. 原始 FCN 论文还利用了部分中间 CNN 层的输出(多尺度融合)[^1],尝试实现这一思想。

^1]: Long, J., Shelhamer, E., & Darrell, T. (2015). Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3431-3440). 相关参考文献条目可参见仓库 [d2l.bib。

登录后查看全文
d2l-en