老照片修复训练数据集构建实战指南

老照片修复模型训练面临的核心挑战在于高质量训练数据的稀缺性。本文将深入解析Bringing-Old-Photos-Back-to-Life项目中的数据预处理模块，帮助开发者掌握从原始图片到模型可读格式的完整处理流程。通过本指南，你将学会构建包含人脸修复、全局增强、划痕检测等多任务训练数据集。

数据格式转换：从分散图片到高效存储

传统图像数据集由数千张独立文件组成，在训练过程中会频繁触发磁盘IO，严重影响训练效率。本项目采用Bigfile二进制格式将多张图片打包为单个文件，大幅提升数据加载速度。

核心转换脚本位于Global/data/Create_Bigfile.py，其主要处理逻辑包括：

def process_image_batch(image_paths, output_file):
    with open(output_file, 'wb') as bin_file:
        # 写入图片总数
        bin_file.write(struct.pack('i', len(image_paths)))
        
        for img_path in image_paths:
            # 处理文件名
            img_name = os.path.basename(img_path)
            name_bytes = img_name.encode('utf-8')
            bin_file.write(struct.pack('i', len(name_bytes)))
            bin_file.write(name_bytes)
            
            # 写入图片数据
            with open(img_path, 'rb') as img_file:
                img_data = img_file.read()
            bin_file.write(struct.pack('i', len(img_data)))
            bin_file.write(img_data)

操作步骤详解

1. 原始数据准备：创建三个分类文件夹

   • Clean_Photos：高质量现代照片
   • Grayscale_Old：真实黑白老照片
   • Color_Old：真实彩色老照片

2. 路径配置修改：

source_directory = "/your/data/source"  # 原始数据根目录
category_folders = ['Clean_Photos', 'Grayscale_Old', 'Color_Old']
output_path = "/your/bigfile/output"

3. 执行格式转换：

cd Global/data && python Create_Bigfile.py

转换完成后，你将获得三个Bigfile文件，分别对应不同的数据类别。

退化效果模拟：创造真实的训练样本

真实老照片数量有限，通过退化效果模拟技术可以生成大量训练样本。项目中的online_dataset_for_old_photos.py实现了多种退化类型：

退化类型分类表

退化类别	实现函数	参数范围	应用概率
运动模糊	motion_blur()	核大小3-15	65%
高斯噪声	gaussian_noise()	标准差5-25	70%
色彩失真	color_degradation()	饱和度0.3-0.8	60%
分辨率降低	resolution_reduce()	缩放比0.3-0.7	55%

多阶段退化流程

def apply_degradation_pipeline(clean_image):
    degradation_steps = random.sample([0,1,2,3], random.randint(2,4))
    
    for step in degradation_steps:
        if step == 0:  # 模糊处理
            clean_image = random_blur(clean_image, 3, 7)
        elif step == 1:  # 噪声添加
            noise_type = random.choice([1,2,3])
            clean_image = add_noise(clean_image, noise_type)
        # 其他退化步骤...
    
    return clean_image

数据加载策略：智能混合真实与合成样本

训练数据的质量直接影响模型性能。项目通过UnPairOldPhotos_SR类实现智能数据混合，平衡真实老照片与合成退化样本的比例。

数据源选择逻辑

• 真实样本优先：40%概率选择真实老照片
• 合成样本补充：60%概率应用退化算法
• 质量过滤机制：自动排除尺寸过小的图片

核心加载代码：

class DataLoader:
    def get_training_sample(self):
        rand_val = random.random()
        
        if rand_val < 0.4:  # 真实老照片
            dataset = random.choice([self.grayscale_old, self.color_old])
            is_real_old = True
        else:  # 合成退化样本
            dataset = self.clean_photos
            apply_degradation = True
            
        return self.process_sample(dataset, apply_degradation)

实战演练：完整数据处理工作流

环境配置步骤

1. 安装项目依赖：pip install -r requirements.txt
2. 获取预训练模型：bash download-weights

端到端处理流程

# 1. 准备原始数据目录
mkdir -p training_data/{Clean_Photos,Grayscale_Old,Color_Old}

# 2. 执行格式转换
python Global/data/Create_Bigfile.py

# 3. 启动模型训练
python Global/train_mapping.py --dataroot training_data

数据质量验证方法

使用项目提供的测试样本验证处理效果：

• test_images/old/：标准老照片测试集
• test_images/old_w_scratch/：带划痕老照片测试集

进阶技巧与优化建议

数据集扩展策略

• 增量更新：支持向现有Bigfile追加新图片
• 动态退化：每次训练时实时生成不同的退化效果
• 质量评估：自动过滤模糊、过暗等低质量图片

性能优化要点

1. 内存管理：Bigfile格式减少IO开销
2. 并行处理：多线程加速数据预处理
3. 缓存机制：常用数据驻留内存

通过本指南介绍的数据处理方案，你可以构建高质量的老照片修复训练数据集，为模型训练提供坚实的数据基础。合理的数据预处理能够显著提升模型在真实场景中的修复效果。