FCN-8s原理精讲:FCN.tensorflow中上采样与pool4/pool3跳跃连接如何融合
FCN-8s原理精讲:FCN.tensorflow中上采样与pool4/pool3跳跃连接如何融合
FCN.tensorflow 是一个用 TensorFlow 实现的语义分割(Semantic Segmentation)经典项目,完整复刻了论文中的 FCN-8s 架构。本文以它的源码为教材,逐步拆解上采样(Upsampling)如何把 1/32 分辨率的粗预测,通过 pool4、pool3 两级跳跃连接(Skip Connection) 逐次融合,最终还原成与输入图像等大的逐像素分割结果。
一、FCN-8s 的核心矛盾:分辨率 vs 语义
理解 FCN-8s 之前,先要明白它解决的问题:
- 编码器(VGG-16) 经过多次 2×2 池化,特征图不断缩小,语义越来越"高级",但空间位置信息也越来越粗糙;
- 最深处的 conv8 输出只有输入的 1/32 大小,直接放大回去,边缘全是锯齿;
- 跳跃连接的思路:在池化层(pool3、pool4)处"抄近道",把尚且保留空间细节的低层特征,与深层的语义预测逐元素相加,弥补边界模糊。
一句话概括 FCN-8s:深层定"是什么",浅层补"在哪里"。
二、FCN.tensorflow 仓库结构:先读哪些文件
| 文件 | 作用 |
|---|---|
| FCN.py | 核心:网络结构(vgg_net、inference)+ 训练/可视化主流程 |
| TensorflowUtils.py | 基础算子封装:卷积、转置卷积、池化等 |
| BatchDatsetReader.py | 批量读取训练图像 |
| read_MITSceneParsingData.py | 解析 MIT Scene Parsing 数据集(ADE20K) |
| README.md | 运行说明与训练观察 |
项目使用 MIT Scene Parsing(ADE20K) 数据集,共 151 个类别(NUM_OF_CLASSESS = 151),骨干网络加载 VGG-16 在 ImageNet 上的预训练权重,属于典型的迁移学习做法。
三、编码器:从输入到 conv5_3 的完整路径
FCN.py 中的 vgg_net() 按层名循环搭建 VGG-16,并把每一层结果存进字典 net,这是后面取 pool3/pool4 的关键。
以代码默认的 224×224 输入 为例,各层级特征图尺寸如下:
| 层级 | 相对分辨率 | 通道数 | 角色 |
|---|---|---|---|
| 输入 | 224×224(1×) | 3 | 原始图像 |
| pool3 | 28×28(1/8) | 256 | 纹理、边缘细节 |
| pool4 | 14×14(1/16) | 512 | 部件级语义 |
| conv5_3 | 14×14(1/16) | 512 | 最深卷积输出 |
| pool5 | 7×7(1/32) | 512 | FCN-32s 的预测位置 |
| conv8 | 7×7(1/32) | 151 | 粗粒度的逐像素分类 |
在 inference() 中,编码路径走完 conv5_3 后再追加一个 2×2 最大池化(pool5),得到 1/32 分辨率的特征,然后接三组"全卷积化"的头:
conv6:7×7 大卷积核(对应原网络的 fc6)conv7:1×1 卷积(对应 fc7)conv8:1×1 卷积,输出通道直接压到 151 类
此时 conv8 已经是一个"每个位置都预测类别"的图,只是分辨率太低(FCN-32s)。接下来就是 FCN-8s 的灵魂所在——解码器。
四、解码器:三级上采样 + 跳跃连接融合(核心)
整条数据流可以这样看:
输入 224×224
├─ pool3(1/8)──────────────────┐
├─ pool4(1/16)─────────┐ │
└─ conv5_3 → pool5(1/32)
→ conv6(7×7) → conv7(1×1) → conv8(1×1, 151类)
→ 4×4 转置卷积(×2倍) → fuse_1 = 上采样 + pool4
→ 4×4 转置卷积(×2倍) → fuse_2 = 上采样 + pool3
→ 16×16 转置卷积(stride 8) → 224×224 的 151 类得分
→ argmax → 逐像素分割掩码
第一级:4×4 上采样,与 pool4 融合
源码见 FCN.py 第 110~114 行:
deconv_shape1直接取image_net["pool4"]的形状(14×14),作为上采样的目标尺寸;- 用 4×4 核、stride=2 的转置卷积把 7×7 的
conv8放大到 14×14,同时把通道扩展到与 pool4 一致; - 然后
fuse_1 = conv_t1 + pool4——逐元素相加,151 类的粗语义与 512 通道的"部件级"特征在这里第一次汇合。
第二级:4×4 上采样,与 pool3 融合
源码见 FCN.py 第 116~120 行:
fuse_1(1/16 分辨率)再次被 4×4 转置卷积放大到 28×28(1/8);- 与
pool3相加得到fuse_2。pool3 是网络中分辨率最高的一路跳跃特征,携带的边缘和纹理信息,正是分割边界最需要的。
这里能体会到 FCN-8s 命名的由来:预测图最终在 1/8 分辨率上完成了语义与精度的融合。
第三级:16×16 单步还原到输入尺寸
源码见 FCN.py 第 122~128 行:
fuse_2(28×28)经过一个 16×16 核、stride=8 的转置卷积,一步放大到 224×224 的 151 类得分图;- 对得分图做
argmax,得到每个像素的类别预测。
这个"大核 + 大步长"的组合是 FCN-8s 的标志性设计:16×16 的感受野在 stride 8 下产生 2 倍重叠,相当于免费做了一次平滑,避免了最后一步直接放大带来的马赛克感。
上采样算子的底层实现封装在 TensorflowUtils.py 的 conv2d_transpose_strided() 中,核心就是一句 tf.nn.conv2d_transpose(..., padding="SAME")。
五、为什么跳跃连接用"加法"而不是拼接?
- 代价极低:拼接会让通道数翻倍,后续卷积核参数量平方增长;相加则通道数不变,几乎零成本;
- 信息互补:深层特征"准但糙",浅层特征"糙但细",相加相当于让两类特征在同一个位置上投票互补;
- 论文验证:FCN-8s 相比 FCN-32s(不做任何跳跃)边界明显更锐利,而 FCN-16s(只用 pool4)则介于两者之间——说明 pool3 这一路对细节贡献最大。
六、训练曲线:entropy 损失如何收敛
下面是项目实际训练约 10 万步的 entropy(稀疏 softmax 交叉熵)曲线,来自 logs/images/sparse_entropy.png:
从曲线可以读出三个信息:
- 起点约 4.5,终点约 1.2:151 类均匀猜测的熵约为 ln(151) ≈ 5.0,起点接近它说明初始化接近"乱猜",训练后损失大幅下降;
- 尖刺密集:batch_size 只有 2(受显存限制),单步梯度噪声大,属正常现象;
- 5 万步后趋于平缓:语义概念基本收敛,再涨精度需要更长训练或更大数据量。
另外作者在 README.md 的观察部分指出:初期梯度几乎全部集中在新增的上采样/分类层上,VGG 预训练层几乎不动——这正是迁移学习有效的直观证据。
七、快速上手:两条命令跑通 FCN.tensorflow
项目基于 TensorFlow 0.11/0.12 与 Python 2.7 编写(老版本 API),运行方式见 README.md:
- 训练:
python FCN.py - 对随机验证批次做分割可视化:
python FCN.py --mode=visualize
可视化时输入图、真值图与预测图会保存到日志目录,配合 Image_Cmaped.ipynb 笔记本可以把预测渲染成彩色掩码查看。
八、文章总结
回到标题的问题——FCN.tensorflow 中上采样与 pool4/pool3 跳跃连接如何融合?答案浓缩成三行:
conv8(1/32 分辨率、151 类)经 4×4 转置卷积放大到 1/16,与pool4相加得到fuse_1;fuse_1再经 4×4 转置卷积放大到 1/8,与pool3相加得到fuse_2;fuse_2经 16×16 核、stride 8 的转置卷积单步还原为输入尺寸,argmax输出逐像素分割。
掌握这条"编码 → 粗预测 → 两级上采样+跳跃融合 → 单步还原"的链路,你就读懂了 FCN-8s 的全部精髓,也为理解 U-Net、DeepLab 等后续分割模型的跳连设计打下了基础。
