如何加载VGG16预训练权重?tensorflow-fcn的vgg16.npy权重文件完全指南

原创2026-10-31 20:32:301,439 阅读

如何加载VGG16预训练权重?tensorflow-fcn的vgg16.npy权重文件完全指南

tensorflow-fcn 是一个用 TensorFlow 单文件实现全卷积网络(FCN)语义分割的开源项目,其 FCN32、FCN16、FCN8 三种模型都依赖同一个 vgg16.npy 权重文件 来加载 VGG16 预训练权重。本文带你彻底搞懂:权重文件放在哪、为什么必须手动下载、np.load(..., encoding='latin1') 这行代码在做什么,以及如何快速跑通第一个分割 Demo。

为什么必须手动下载 vgg16.npy?

仓库里不包含权重文件,这是因为 vgg16.npy 体积很大(数百 MB),不适合放进代码仓库。三个模型文件在 __init__ 阶段都会检查它,文件不存在时程序会直接打印下载地址并退出:

File 'xxx/vgg16.npy' not found. Download it from
ftp://mi.eng.cam.ac.uk/pub/mttt2/models/vgg16.npy

相关逻辑见 fcn16_vgg.py,fcn32_vgg.py 和 fcn8_vgg.py 中的实现完全一致——三个 FCN 模型共享同一份 VGG16 预训练权重,所以只需下载一次。

tensorflow-fcn语义分割演示输入图:红沙发上的猫狗原图

💡 该权重文件由 Caffe 导出的 VGG16 权重转换而来,无需安装 Caffe 或 caffe-tensorflow,纯 numpy 加载即可。

vgg16.npy 里到底装了什么?

核心加载代码只有一行:

self.data_dict = np.load(vgg16_npy_path, encoding='latin1').item()

它做三件事:

  1. np.load(..., encoding='latin1'):以 latin1 编码读取 .npy 文件(老版本 Caffe 导出的 key 名含非 ASCII 字符,必须指定编码);
  2. .item():把整个权重包还原成一个 Python 字典,每个卷积/全连接层名映射到一个 [weights, bias] 元组,例如 data_dict['conv1_1'] 就是第一层卷积的权重和偏置;
  3. 加载成功后控制台会打印 npy file loaded,表示权重字典就绪。

后续构建网络时,各层从这里"取数":

  • 卷积层权重:get_conv_filter,取出 data_dict[name][0] 作为滤波器初值,并自动注册 L2 权重衰减;
  • 偏置权重:get_bias,取出 data_dict[name][1];
  • 全连接层(fc6/fc7/fc8):get_fc_weight_reshape,把原全连接权重 reshape 成 1×1 卷积核,实现"全卷积化"。

⚠️ 注意:score_fr(即原 fc8)在 random_init_fc8=True 时会改为随机初始化,不读取 npy 中的 fc8 权重——微调(finetune)自己的数据集时推荐这样做。

三种方式指定权重文件路径

方式一:默认位置(最省事)

不传参数时,程序自动查找模型模块文件所在目录的上一级中的 vgg16.npy(见 fcn16_vgg.py)。也就是说,如果你在项目根目录直接运行,把 vgg16.npy 放到项目根目录即可:

tensorflow-fcn/
├── vgg16.npy          ← 放这里
├── fcn16_vgg.py
└── test_fcn16_vgg.py

方式二:自定义路径

构造函数支持显式传入路径,方便权重放在别处:

vgg_fcn = fcn16_vgg.FCN16VGG(vgg16_npy_path='/data/weights/vgg16.npy')

方式三:多模型复用同一份文件

FCN32/16/8 的构造函数签名相同,vgg16.npy 可被三者共用,一次下载、三处复用。

快速上手:两步跑通分割 Demo

  1. 安装依赖(TensorFlow 需 ≥ 1.0rc,其余依赖见 requirements.txt):
pip install -r requirements.txt
  1. 下载 vgg16.npy 到项目根目录后,任选一个测试脚本运行,例如:
python test_fcn32_vgg.py

脚本会读取 test_data/tabby_cat.png 这张演示图,运行后在项目根目录生成 fcn32_downsampled.png 和 fcn32_upsampled.png 两张结果图:

tensorflow-fcn FCN32语义分割结果图:加载VGG16预训练权重后的粗糙分割地图

可以看到 FCN32 的结果比较粗糙——README 也提醒过:未微调时直接用 VGG16 权重推理,效果偏粗,建议在自己的数据上 finetune。

FCN32 / 16 / 8 效果对比:同一份权重的三种精度

tensorflow-fcn FCN16语义分割结果图:融合pool4特征后分割区域更细致

tensorflow-fcn FCN8语义分割结果图:三层特征融合让VGG16预训练权重分割边界更精细

模型 特征融合策略 精度特点 测试脚本
FCN32 仅 fc7 上采样 粗糙但最快 test_fcn32_vgg.py
FCN16 融合 pool4 细节更丰富 test_fcn16_vgg.py
FCN8 融合 pool4 + pool3 边界最精细 test_fcn8_vgg.py

三者构建网络的方式完全一样:

vgg = vgg16.Vgg16()
vgg.build(images, train=True, num_classes=num_classes, random_init_fc8=True)

训练时可将 loss.py 中的 softmax 交叉熵损失函数接在 vgg_fcn.up 输出上,作者实测 Adam 优化器 + 1e-6 学习率 的 finetune 效果良好。

常见问题排查

  • File 'xxx/vgg16.npy' not found 然后程序退出:权重文件没放到默认位置,或路径传错,按上文方式一/二处理;
  • UnicodeDecodeError 或 key 读取乱码:np.load 时漏了 encoding='latin1') 参数;
  • KeyError: 'conv1_1':你下载的可能不是 Caffe 导出的标准 vgg16.npy,字典 key 对不上;
  • 结果图颜色杂乱、看不出物体:这是正常现象——score 层为随机初始化(未微调),日志里明确提示了 "Do not expect meaningful results";
  • TensorFlow 版本报错:代码面向 TF 1.x API(tf.placeholder、tf.global_variables_initializer 等),TF 2.x 需开启兼容模式或降级版本。

总结

tensorflow-fcn 的 VGG16 预训练权重加载机制非常简洁:一个 vgg16.npy 字典文件 + 一行 np.load。掌握三个要点即可顺畅使用——

  1. 权重需手动下载,默认查找模块上级目录;
  2. 字典中每层对应 [weights, bias],加载时必须 encoding='latin1';
  3. FCN32/16/8 共用一份权重,微调时建议 random_init_fc8=True 随机初始化分类头。

配好权重后,结合 utils.py 的可视化工具和 loss.py 的损失函数,你就能把自己的语义分割 pipeline 快速搭建起来了。

登录后查看全文
tensorflow-fcn