TSD-SR: 一站式目标得分蒸馏扩散实现真实世界图像超分辨率

1. 项目介绍

TSD-SR（Target Score Distillation for Real-World Image Super-Resolution）是一个基于PyTorch的开源项目，它提出了一种新的超分辨率方法，通过一步扩散和目标得分蒸馏来提高真实世界图像的恢复质量。该方法由浙江大学和Vivo Mobile Communication Co. Ltd等机构的研究人员共同开发，并被CVPR 2025接受。TSD-SR旨在解决传统超分辨率方法在真实世界图像处理中遇到的挑战，如噪声、模糊和不规则纹理等。

2. 项目快速启动

环境准备

首先，确保已经安装了conda和Python 3.9。然后，按照以下步骤准备环境：

git clone https://github.com/Microtreei/TSD-SR.git
cd TSD-SR
conda create -n tsdsr python=3.9
conda activate tsdsr
pip install -r requirements.txt

预训练模型下载

下载预训练的SD3模型和TSD-SR的loral权重及提示嵌入：

• 从HuggingFace下载SD3模型。
• 从GoogleDrive或OneDrive下载TSD-SR的loral权重和提示嵌入。

将下载的模型权重放入checkpoint/tsdsr，提示嵌入放入dataset/default。

测试数据准备

将测试图像放入imgs/test目录。

测试命令执行

运行以下命令进行测试：

python test/test_tsdsr.py \
--pretrained_model_name_or_path /path/to/your/sd3 \
-i imgs/test \
-o outputs/test \
--lora_dir checkpoint/tsdsr \
--embedding_dir dataset/default

性能评估

使用以下命令进行性能评估：

python test/test_metrics.py \
--inp_imgs outputs/DrealSR \
--gt_imgs imgs/StableSR_testsets/DrealSRVal_crop128/test_HR \
--log logs/metrics

3. 应用案例和最佳实践

训练数据准备

1. 下载训练数据集，如LSDIR、FLICKR2K、DIV2K、FFHQ，并存储在指定位置。
2. 准备降质图像和提示文本，按照项目提供的路径和结构组织数据。

训练过程

1. 修改data/data.py和data/process.py中的数据集路径。
2. 运行data/process.py生成训练数据。
3. 下载教师模型和空提示嵌入，并放置在相应的目录下。
4. 运行训练命令开始训练过程。

模型优化

• 使用教师模型的LoRA权重进行微调，提高模型对高质量数据的敏感度。
• 使用空提示嵌入计算cfg，优化训练过程。

4. 典型生态项目

• StableSR: 提供了一个精心策划的测试数据集，用于评估超分辨率方法的性能。
• SD3: 用于图像超分辨率任务的基础模型，提供了强大的文本到图像生成能力。
• DAPE: 生成基于标签的提示文本，用于训练过程。
• LLaVA: 生成自然语言描述的提示文本，用于训练过程。

以上就是TSD-SR项目的最佳实践指南，希望对您有所帮助。