如何加载VGG16预训练权重?tensorflow-fcn的vgg16.npy权重文件完全指南
如何加载VGG16预训练权重?tensorflow-fcn的vgg16.npy权重文件完全指南
tensorflow-fcn 是一个用 TensorFlow 单文件实现全卷积网络(FCN)语义分割的开源项目,其 FCN32、FCN16、FCN8 三种模型都依赖同一个 vgg16.npy 权重文件 来加载 VGG16 预训练权重。本文带你彻底搞懂:权重文件放在哪、为什么必须手动下载、np.load(..., encoding='latin1') 这行代码在做什么,以及如何快速跑通第一个分割 Demo。
为什么必须手动下载 vgg16.npy?
仓库里不包含权重文件,这是因为 vgg16.npy 体积很大(数百 MB),不适合放进代码仓库。三个模型文件在 __init__ 阶段都会检查它,文件不存在时程序会直接打印下载地址并退出:
File 'xxx/vgg16.npy' not found. Download it from
ftp://mi.eng.cam.ac.uk/pub/mttt2/models/vgg16.npy
相关逻辑见 fcn16_vgg.py,fcn32_vgg.py 和 fcn8_vgg.py 中的实现完全一致——三个 FCN 模型共享同一份 VGG16 预训练权重,所以只需下载一次。
💡 该权重文件由 Caffe 导出的 VGG16 权重转换而来,无需安装 Caffe 或 caffe-tensorflow,纯 numpy 加载即可。
vgg16.npy 里到底装了什么?
核心加载代码只有一行:
self.data_dict = np.load(vgg16_npy_path, encoding='latin1').item()
它做三件事:
np.load(..., encoding='latin1'):以 latin1 编码读取 .npy 文件(老版本 Caffe 导出的 key 名含非 ASCII 字符,必须指定编码);.item():把整个权重包还原成一个 Python 字典,每个卷积/全连接层名映射到一个[weights, bias]元组,例如data_dict['conv1_1']就是第一层卷积的权重和偏置;- 加载成功后控制台会打印
npy file loaded,表示权重字典就绪。
后续构建网络时,各层从这里"取数":
- 卷积层权重:get_conv_filter,取出
data_dict[name][0]作为滤波器初值,并自动注册 L2 权重衰减; - 偏置权重:get_bias,取出
data_dict[name][1]; - 全连接层(fc6/fc7/fc8):get_fc_weight_reshape,把原全连接权重 reshape 成 1×1 卷积核,实现"全卷积化"。
⚠️ 注意:score_fr(即原 fc8)在 random_init_fc8=True 时会改为随机初始化,不读取 npy 中的 fc8 权重——微调(finetune)自己的数据集时推荐这样做。
三种方式指定权重文件路径
方式一:默认位置(最省事)
不传参数时,程序自动查找模型模块文件所在目录的上一级中的 vgg16.npy(见 fcn16_vgg.py)。也就是说,如果你在项目根目录直接运行,把 vgg16.npy 放到项目根目录即可:
tensorflow-fcn/
├── vgg16.npy ← 放这里
├── fcn16_vgg.py
└── test_fcn16_vgg.py
方式二:自定义路径
构造函数支持显式传入路径,方便权重放在别处:
vgg_fcn = fcn16_vgg.FCN16VGG(vgg16_npy_path='/data/weights/vgg16.npy')
方式三:多模型复用同一份文件
FCN32/16/8 的构造函数签名相同,vgg16.npy 可被三者共用,一次下载、三处复用。
快速上手:两步跑通分割 Demo
- 安装依赖(TensorFlow 需 ≥ 1.0rc,其余依赖见 requirements.txt):
pip install -r requirements.txt
- 下载
vgg16.npy到项目根目录后,任选一个测试脚本运行,例如:
python test_fcn32_vgg.py
脚本会读取 test_data/tabby_cat.png 这张演示图,运行后在项目根目录生成 fcn32_downsampled.png 和 fcn32_upsampled.png 两张结果图:
可以看到 FCN32 的结果比较粗糙——README 也提醒过:未微调时直接用 VGG16 权重推理,效果偏粗,建议在自己的数据上 finetune。
FCN32 / 16 / 8 效果对比:同一份权重的三种精度
| 模型 | 特征融合策略 | 精度特点 | 测试脚本 |
|---|---|---|---|
| FCN32 | 仅 fc7 上采样 | 粗糙但最快 | test_fcn32_vgg.py |
| FCN16 | 融合 pool4 | 细节更丰富 | test_fcn16_vgg.py |
| FCN8 | 融合 pool4 + pool3 | 边界最精细 | test_fcn8_vgg.py |
三者构建网络的方式完全一样:
vgg = vgg16.Vgg16()
vgg.build(images, train=True, num_classes=num_classes, random_init_fc8=True)
训练时可将 loss.py 中的 softmax 交叉熵损失函数接在 vgg_fcn.up 输出上,作者实测 Adam 优化器 + 1e-6 学习率 的 finetune 效果良好。
常见问题排查
File 'xxx/vgg16.npy' not found然后程序退出:权重文件没放到默认位置,或路径传错,按上文方式一/二处理;UnicodeDecodeError或 key 读取乱码:np.load时漏了encoding='latin1')参数;KeyError: 'conv1_1':你下载的可能不是 Caffe 导出的标准 vgg16.npy,字典 key 对不上;- 结果图颜色杂乱、看不出物体:这是正常现象——score 层为随机初始化(未微调),日志里明确提示了 "Do not expect meaningful results";
- TensorFlow 版本报错:代码面向 TF 1.x API(
tf.placeholder、tf.global_variables_initializer等),TF 2.x 需开启兼容模式或降级版本。
总结
tensorflow-fcn 的 VGG16 预训练权重加载机制非常简洁:一个 vgg16.npy 字典文件 + 一行 np.load。掌握三个要点即可顺畅使用——
- 权重需手动下载,默认查找模块上级目录;
- 字典中每层对应
[weights, bias],加载时必须encoding='latin1'; - FCN32/16/8 共用一份权重,微调时建议
random_init_fc8=True随机初始化分类头。
配好权重后,结合 utils.py 的可视化工具和 loss.py 的损失函数,你就能把自己的语义分割 pipeline 快速搭建起来了。



