读透FCN.tensorflow源码的收获:从FCN-8s到现代语义分割网络的演进
读透FCN.tensorflow源码的收获:从FCN-8s到现代语义分割网络的演进
FCN.tensorflow 是一份用 Tensorflow 完整实现 FCN(Fully Convolutional Networks)语义分割的经典开源项目,它基于 VGG-16 预训练权重搭建了教科书级的 FCN-8s 网络结构,并在 MIT Scene Parsing 数据集(151 个类别)上完成了端到端训练。对刚入门语义分割(Semantic Segmentation)的新手来说,这个项目不到 700 行核心代码,却把"全卷积化 + 反卷积上采样 + 多尺度跳跃连接"这套思想讲得明明白白,是理解现代分割网络演进的绝佳起点。
🗂 项目结构速览:5 个文件读懂一个语义分割网络
整个仓库结构非常精简,每个文件的职责一目了然:
| 文件 | 职责 |
|---|---|
| FCN.py | 核心:VGG 骨干搭建、FCN-8s 推理图、训练与可视化主循环 |
| TensorflowUtils.py | 工具层:VGG 权重下载/加载、卷积与反卷积算子封装 |
| read_MITSceneParsingData.py | 数据集读取:自动下载并构建 MIT Scene Parsing 图片标注列表 |
| BatchDatsetReader.py | 数据加载器:批量读取、resize、epoch 内 shuffle |
| README.md | 训练配置、实验结果与关键观察 |
新手建议的阅读顺序:先通读 README.md 了解实验设定,再从 FCN.py 的 inference 函数入手,最后看数据侧的两个文件。
🧩 拆解 FCN-8s:核心网络是怎么搭出来的
FCN.py 中真正"值钱"的是两段函数,理解了它们就理解了 FCN-8s 的全部精髓。
第一步:把 VGG-16 变成特征提取器
vgg_net(FCN.py#L27-L62)按 conv1_1 → pool5 的顺序逐层复现 VGG-16。所有权重从 ImageNet 预训练的 .mat 文件加载,输入图像先减去 mean pixel 做归一化——这是**迁移学习(Transfer Learning)**的标准姿势。
第二步:分类头"全卷积化"
inference 函数(FCN.py#L65-L130)在原 VGG 的分类层位置上替换了三组卷积:
conv6:7×7 卷积,512 通道 → 4096 通道,接 ReLU + Dropoutconv7:1×1 卷积,4096 → 4096 通道,继续压缩语义conv8:1×1 卷积,4096 → 151 通道,每个通道对应一个语义类别的 logits
此时输出分辨率只有原图的 1/32,还远不够做像素级预测。
第三步:两级跳跃连接 + 三级上采样
这是 FCN-8s 名字里"8"的由来:
- 反卷积
conv_t1(4×4、stride 2)把conv8上采样 2 倍,与 VGG 的 pool4 特征图逐元素相加(fuse_1)——把深层语义和浅层细节融合; - 反卷积
conv_t2再上采样 2 倍,与 pool3 相加(fuse_2); - 最后一层 16×16、stride 8 的反卷积
conv_t3一次性放大 8 倍,恢复到输入分辨率; tf.argmax在每个像素位置取最大类别得分,得到逐像素分割图。
损失函数使用 sparse_softmax_cross_entropy_with_logits(FCN.py#L152-L154),优化器为 Adam,学习率 1e-4,batch size 为 2,输入统一 resize 到 224×224。
📈 训练曲线透露的关键信息
项目作者在 README.md 中记录了约 6-7 小时(单张 12GB Titan X)、9 个 epoch 的训练过程,下图就是 TensorBoard 中记录的 entropy 损失曲线(10 万步):
曲线前期快速下降、后期缓慢收敛,中间伴随大量尖峰——作者指出这与小 batch size(仅 2 张图)带来的梯度噪声直接相关。更有价值的是 README 中关于梯度流的三个观察:
- 训练初期梯度几乎全部流向新加的分割层,只有当这些层基本成型后,VGG 层才开始有明显的梯度更新;
- 第一层卷积
conv_1_1的梯度调整最活跃——因为它负责捕捉与当前数据集强相关的低级信息; - 其余 VGG 层梯度很小——因为 ImageNet 学到的中层概念对"分割"任务已经够用。
这正是迁移学习行之有效的核心原因,也是读这份源码最大的意外收获之一。另外两个值得注意的现象:训练 9 个 epoch 后,样本多的类别(如汽车、行人)分割明显更好;resize 到 224 导致小目标信息丢失,细分割精度下降。
🚀 从 FCN-8s 到现代语义分割网络:演进路线图
FCN-8s(2015)奠定的两个思想——全卷积端到端 和 多尺度特征融合——几乎影响了此后所有主流分割网络:
| 阶段 | 代表网络 | 核心演进点 |
|---|---|---|
| 起点 | FCN-8s | 全卷积化 + 反卷积上采样 + 跳跃连接 |
| 结构优化 | U-Net / PSPNet | 编码器-解码器对称结构 / 金字塔池化聚合全局上下文 |
| 空洞卷积 | DeepLab v2/v3+ | 用 ASPP 空洞卷积替代部分池化,避免上采样损失 |
| 骨干升级 | DeepLab v3+ / UPerNet | ResNet、ResNeXt 骨干,多尺度特征金字塔 |
| Transformer 时代 | SegFormer / Mask2Former | 纯 Transformer 编码器 + 轻量解码器,全局注意力建模 |
| 基础模型 | SAM 等 | 大数据预训练 + 零样本泛化,分割走向"通用能力" |
回头看,本项目中 fuse_1、fuse_2 这两处 tf.add 跳跃连接,与 U-Net 的 skip connection、UPerNet 的特征融合在思想上一脉相承。读懂 FCN-8s,就等于拿到了整条技术演进链的钥匙。
🛠 新手上手指南:最快跑通语义分割训练的方法
环境要求很老但很纯粹:python2.7 + tensorflow 0.11/0.12(TF 1.0 的兼容问题可参考 README.md 中的说明)。运行方式非常简单:
- 训练:
python FCN.py,代码会自动下载 VGG-16 权重和 MIT Scene Parsing 数据集到 FCN.py 中配置的Model_zoo/与Data_zoo/MIT_SceneParsing/目录 - 可视化:加参数
--mode=visualize随机抽取验证集图片输出预测结果 - 调试:加参数
--debug打印各层激活值与梯度,配合 TensorBoard 观察训练过程 - 常用参数:
--batch_size(默认 2)、--learning_rate(默认 1e-4)、--logs_dir(默认logs/)
对现代机器,建议用 Docker 锁定 TF 0.12 环境运行,或在 TF1 兼容层上阅读式运行——这份代码的价值更多在于结构教学而非生产部署。
✍️ 结语:这份源码教会我的 3 件事
- "全卷积"是分割任务的范式转换:把分类网络的两端全卷积化,就能端到端处理任意尺寸输入,无需滑窗拼接;
- 精度上限由"融合"决定:单靠深层语义会丢细节,FCN-8s 用两级跳跃连接把 pool3/pool4 的细节加回来,这是所有后续编码器-解码器结构的祖先;
- 迁移学习不是玄学:预训练权重 + 小学习率 + 只重点训练新层,梯度流数据清楚地证明了这一点。
如果你想系统入门语义分割,从 FCN.py 的 inference 函数读起,再对照 README.md 的实验观察,一天时间就能完成对 FCN-8s 的完整"读透"之旅。
