探索自动机器学习在GAN压缩领域的力作：AutoGAN-Distiller

在深度学习的前沿阵地，我们迎来了一个致力于优化生成对抗网络（GAN）的重量级工具——AutoGAN-Distiller (AGD)。这项由Yonggan Fu等学者提出，并在ICML 2020上被接受的工作，不仅是自动机器学习（AutoML）领域在GAN压缩方面的一大突破，也是探索AutoML在GAN应用中的先锋之一。

项目概览

AutoGAN-Distiller框架特别设计用于解决一个难题：如何在保持高质量生成效果的同时，压缩GAN的计算需求。它通过构建于高效生成器基本块上的特定搜索空间，利用当前最先进GAN的知识来指导其神经架构搜索过程。这一过程是在预设的压缩比下进行的，确保了通过知识蒸馏方法引导的质量保留。

技术剖析

• 创新搜索空间：AGD的独特之处在于它定制化的搜索空间，这个空间专为效率而生，借鉴自各种任务的顶尖GAN模型。
• 可微结构搜索：不同于传统的固定结构，AGD在目标压缩比率约束下执行端到端的结构优化，确保每一层的选择都是为了兼顾性能和资源效率。
• 知识蒸馏引导：这是其核心技术之一，AGD通过知识蒸馏保证在结构简化过程中，不会牺牲原始GAN的生成质量，这对于保持生成图像的逼真度至关重要。

应用场景

AGD已经成功应用于两个移动设备友好的典型GAN应用中：

• 无监督图像转换：如马与斑马之间的转换，展示了其处理复杂视觉变换的能力。
• 超分辨率重建：提升低分辨率图片至高清，对于提升用户体验有着显著作用。