PSA: 弱监督语义分割中基于图像级监督学习像素级语义亲和力

本教程将指导您如何理解和使用由Jiwoon Ahn和Suha Kwak在CVPR 2018上提出的“Learning Pixel-level Semantic Affinity with Image-level Supervision”的开源代码库。项目地址位于GitHub，它旨在通过仅使用图像级标签来生成训练图片的精确分割标签。

1. 目录结构及介绍

以下是psa项目的基本目录结构及其简介：

psa/
├── fig_outline.png        # 可能包含示意图或图标
├── infer_aff.py          # 用于执行基于生成的CAM的随机漫步的脚本
├── infer_cls.py          # 根据预训练模型生成类激活映射(CAM)
├── README.md             # 项目说明文档
├── train_aff.py          # 训练AffinityNet的脚本
└── train_cls.py          # 训练分类网络以获取CAMs的脚本
├── ...                   # 其他辅助文件如.gitignore, LICENSE等

核心脚本包括用于训练分类网络(train_cls.py)和AffinityNet (train_aff.py)的文件，以及用于从这些模型生成预测结果的脚本(infer_cls.py, infer_aff.py)。

2. 项目启动文件介绍

2.1 训练分类网络 (train_cls.py)

此脚本用于训练一个分类网络（可选VGG-16或ResNet-38），该网络在图像级别上进行训练，以便后处理时生成初始的类激活映射(CAM)。

2.2 生成标签并应用dCRF (infer_cls.py)

通过已训练的分类网络生成CAMs，并进一步通过dCRF（方向条件随机场）处理来生成更准确的伪标注。

2.3 训练AffinityNet (train_aff.py)

利用前一步骤生成的伪标签训练AffinityNet，从而提高分割精度。

2.4 随机漫步 (infer_aff.py)

利用AffinityNet对类激活图进行像素级别的关联增强，最终输出更精细的分割结果。

3. 项目的配置文件介绍

虽然该项目没有明确指出单独的配置文件，但参数设置主要通过命令行参数实现。例如，在训练和推断脚本的使用中，您需指定如下关键配置：

• 基本参数：如学习率(--lr)、批量大小(--batch_size)、最大迭代次数(--max_epochs)。
• 数据路径：指向PASCAL VOC 2012数据集根目录(--voc12_root)和其他自定义输出路径。
• 网络选择：在VGG-16或ResNet-38之间选择网络结构。
• 权重文件：用于初始化训练的预训练模型权重。
• 额外细节：如正则化权重(--wt_dec)和其他特定于任务的参数。

为了运行上述脚本，您需要根据提供的命令行参数调整这些配置值，以符合您的环境和实验需求。确保您的环境已安装必要的依赖项，如PyTorch、CUDA等，并且已下载了相关数据集及模型预训练权重。