FCN-8s原理精讲:FCN.tensorflow中上采样与pool4/pool3跳跃连接如何融合

原创2026-10-31 11:48:49105 阅读

FCN-8s原理精讲:FCN.tensorflow中上采样与pool4/pool3跳跃连接如何融合

FCN.tensorflow 是一个用 TensorFlow 实现的语义分割(Semantic Segmentation)经典项目,完整复刻了论文中的 FCN-8s 架构。本文以它的源码为教材,逐步拆解上采样(Upsampling)如何把 1/32 分辨率的粗预测,通过 pool4、pool3 两级跳跃连接(Skip Connection) 逐次融合,最终还原成与输入图像等大的逐像素分割结果。

一、FCN-8s 的核心矛盾:分辨率 vs 语义

理解 FCN-8s 之前,先要明白它解决的问题:

  • 编码器(VGG-16) 经过多次 2×2 池化,特征图不断缩小,语义越来越"高级",但空间位置信息也越来越粗糙;
  • 最深处的 conv8 输出只有输入的 1/32 大小,直接放大回去,边缘全是锯齿;
  • 跳跃连接的思路:在池化层(pool3、pool4)处"抄近道",把尚且保留空间细节的低层特征,与深层的语义预测逐元素相加,弥补边界模糊。

一句话概括 FCN-8s:深层定"是什么",浅层补"在哪里"。

二、FCN.tensorflow 仓库结构:先读哪些文件

文件 作用
FCN.py 核心:网络结构(vgg_net、inference)+ 训练/可视化主流程
TensorflowUtils.py 基础算子封装:卷积、转置卷积、池化等
BatchDatsetReader.py 批量读取训练图像
read_MITSceneParsingData.py 解析 MIT Scene Parsing 数据集(ADE20K)
README.md 运行说明与训练观察

项目使用 MIT Scene Parsing(ADE20K) 数据集,共 151 个类别(NUM_OF_CLASSESS = 151),骨干网络加载 VGG-16 在 ImageNet 上的预训练权重,属于典型的迁移学习做法。

三、编码器:从输入到 conv5_3 的完整路径

FCN.py 中的 vgg_net() 按层名循环搭建 VGG-16,并把每一层结果存进字典 net,这是后面取 pool3/pool4 的关键。

以代码默认的 224×224 输入 为例,各层级特征图尺寸如下:

层级 相对分辨率 通道数 角色
输入 224×224(1×) 3 原始图像
pool3 28×28(1/8) 256 纹理、边缘细节
pool4 14×14(1/16) 512 部件级语义
conv5_3 14×14(1/16) 512 最深卷积输出
pool5 7×7(1/32) 512 FCN-32s 的预测位置
conv8 7×7(1/32) 151 粗粒度的逐像素分类

在 inference() 中,编码路径走完 conv5_3 后再追加一个 2×2 最大池化(pool5),得到 1/32 分辨率的特征,然后接三组"全卷积化"的头:

  • conv6:7×7 大卷积核(对应原网络的 fc6)
  • conv7:1×1 卷积(对应 fc7)
  • conv8:1×1 卷积,输出通道直接压到 151 类

此时 conv8 已经是一个"每个位置都预测类别"的图,只是分辨率太低(FCN-32s)。接下来就是 FCN-8s 的灵魂所在——解码器。

四、解码器:三级上采样 + 跳跃连接融合(核心)

整条数据流可以这样看:

输入 224×224
 ├─ pool3(1/8)──────────────────┐
 ├─ pool4(1/16)─────────┐        │
 └─ conv5_3 → pool5(1/32)
    → conv6(7×7) → conv7(1×1) → conv8(1×1, 151类)
    → 4×4 转置卷积(×2倍) → fuse_1 = 上采样 + pool4
    → 4×4 转置卷积(×2倍) → fuse_2 = 上采样 + pool3
    → 16×16 转置卷积(stride 8) → 224×224 的 151 类得分
    → argmax → 逐像素分割掩码

第一级:4×4 上采样,与 pool4 融合

源码见 FCN.py 第 110~114 行:

  • deconv_shape1 直接取 image_net["pool4"] 的形状(14×14),作为上采样的目标尺寸;
  • 用 4×4 核、stride=2 的转置卷积把 7×7 的 conv8 放大到 14×14,同时把通道扩展到与 pool4 一致;
  • 然后 fuse_1 = conv_t1 + pool4——逐元素相加,151 类的粗语义与 512 通道的"部件级"特征在这里第一次汇合。

第二级:4×4 上采样,与 pool3 融合

源码见 FCN.py 第 116~120 行:

  • fuse_1(1/16 分辨率)再次被 4×4 转置卷积放大到 28×28(1/8);
  • 与 pool3 相加得到 fuse_2。pool3 是网络中分辨率最高的一路跳跃特征,携带的边缘和纹理信息,正是分割边界最需要的。

这里能体会到 FCN-8s 命名的由来:预测图最终在 1/8 分辨率上完成了语义与精度的融合。

第三级:16×16 单步还原到输入尺寸

源码见 FCN.py 第 122~128 行:

  • fuse_2(28×28)经过一个 16×16 核、stride=8 的转置卷积,一步放大到 224×224 的 151 类得分图;
  • 对得分图做 argmax,得到每个像素的类别预测。

这个"大核 + 大步长"的组合是 FCN-8s 的标志性设计:16×16 的感受野在 stride 8 下产生 2 倍重叠,相当于免费做了一次平滑,避免了最后一步直接放大带来的马赛克感。

上采样算子的底层实现封装在 TensorflowUtils.py 的 conv2d_transpose_strided() 中,核心就是一句 tf.nn.conv2d_transpose(..., padding="SAME")。

五、为什么跳跃连接用"加法"而不是拼接?

  • 代价极低:拼接会让通道数翻倍,后续卷积核参数量平方增长;相加则通道数不变,几乎零成本;
  • 信息互补:深层特征"准但糙",浅层特征"糙但细",相加相当于让两类特征在同一个位置上投票互补;
  • 论文验证:FCN-8s 相比 FCN-32s(不做任何跳跃)边界明显更锐利,而 FCN-16s(只用 pool4)则介于两者之间——说明 pool3 这一路对细节贡献最大。

六、训练曲线:entropy 损失如何收敛

下面是项目实际训练约 10 万步的 entropy(稀疏 softmax 交叉熵)曲线,来自 logs/images/sparse_entropy.png:

FCN.tensorflow FCN-8s语义分割模型训练entropy损失曲线

从曲线可以读出三个信息:

  1. 起点约 4.5,终点约 1.2:151 类均匀猜测的熵约为 ln(151) ≈ 5.0,起点接近它说明初始化接近"乱猜",训练后损失大幅下降;
  2. 尖刺密集:batch_size 只有 2(受显存限制),单步梯度噪声大,属正常现象;
  3. 5 万步后趋于平缓:语义概念基本收敛,再涨精度需要更长训练或更大数据量。

另外作者在 README.md 的观察部分指出:初期梯度几乎全部集中在新增的上采样/分类层上,VGG 预训练层几乎不动——这正是迁移学习有效的直观证据。

七、快速上手:两条命令跑通 FCN.tensorflow

项目基于 TensorFlow 0.11/0.12 与 Python 2.7 编写(老版本 API),运行方式见 README.md:

  • 训练:python FCN.py
  • 对随机验证批次做分割可视化:python FCN.py --mode=visualize

可视化时输入图、真值图与预测图会保存到日志目录,配合 Image_Cmaped.ipynb 笔记本可以把预测渲染成彩色掩码查看。

八、文章总结

回到标题的问题——FCN.tensorflow 中上采样与 pool4/pool3 跳跃连接如何融合?答案浓缩成三行:

  1. conv8(1/32 分辨率、151 类)经 4×4 转置卷积放大到 1/16,与 pool4 相加得到 fuse_1;
  2. fuse_1 再经 4×4 转置卷积放大到 1/8,与 pool3 相加得到 fuse_2;
  3. fuse_2 经 16×16 核、stride 8 的转置卷积单步还原为输入尺寸,argmax 输出逐像素分割。

掌握这条"编码 → 粗预测 → 两级上采样+跳跃融合 → 单步还原"的链路,你就读懂了 FCN-8s 的全部精髓,也为理解 U-Net、DeepLab 等后续分割模型的跳连设计打下了基础。

登录后查看全文
FCN.tensorflow