Face-SPARNet: 人脸超分辨率开源项目教程

1. 项目介绍

Face-SPARNet是一个基于PyTorch的开源项目，用于实现人脸超分辨率技术。该项目提出了一种新的学习方法——学习空间注意力的超分辨率，旨在通过空间注意力机制提升低分辨率人脸图像的清晰度。项目基于CycleGAN框架，并进行了扩展和优化，以实现更高质量的图像重建。

2. 项目快速启动

环境准备

• 操作系统：Ubuntu 18.04
• CUDA版本：10.1
• Python版本：3.7
• 安装依赖：pip3 install -r requirements.txt

克隆项目

git clone https://github.com/chaofengc/Face-SPARNet.git
cd Face-SPARNet

下载预训练模型和数据集

从提供的链接下载预训练模型和数据集，并将它们分别放置在./pretrain_models和./test_dirs目录下。

测试预训练模型

项目提供了test.sh脚本，用于测试预训练模型。以下是测试命令的一个示例：

bash test.sh

在测试时，请注意：

• SPARNet模型用于将16x16的低分辨率人脸图像超采样到128x128。
• SPARNetHD模型用于增强低质量的人脸图像，生成512x512的高质量输出。
• 使用--dataroot指定测试输入目录。
• 使用--save_as_dir指定结果保存路径。

训练模型

训练模型的命令可在train.sh脚本中找到。训练之前，请确保下载了CelebA和FFHQ数据集，并根据实际情况修改--dataroot路径。以下是一个训练命令的示例：

bash train.sh

在训练时，请注意：

• 对于SPARNet模型，从CelebA数据集中直接裁剪人脸进行训练。
• 对于SPARNetHD模型，至少需要25GB内存来训练批次大小为2的模型。
• 使用--name选项为不同的实验设置名称。
• 使用--gpus指定用于训练的GPU数量。

3. 应用案例和最佳实践

• 单张图像的人脸增强：项目提供了test_enhance_single_unalign.py脚本，用于对单张图像进行人脸增强和校准。
• 性能比较：项目对比了2D和3D注意力机制在不同模型上的性能，提供了模型参数和指标的比较。

4. 典型生态项目

Face-SPARNet项目是基于CycleGAN框架开发的，因此与CycleGAN相关的项目都可视作其生态系统的一部分。此外，该项目也受到DICNet项目的启发，可以在研究和实践中参考这两个项目的结合使用。